Veb Crawler va Veb indeks.
Rejalar:
- Qidiruv tizimlarida qanday jarayonlar sodir bo’ladi ?
- Web Crawler nima ?
- Web Crawler qanday ishlaydi.
- Web Crawler turlari.
- Web Indeks
Brauzerning asosiy funksiyasi siz tanlagan veb-resursni serverdan so'rash va brauzer oynasida ko'rsatish orqali taqdim etishdir. *Resurs odatda HTML hujjatidir, lekin PDF, rasm yoki boshqa turdagi bo'lishi mumkin. Resursning joylashuvi foydalanuvchi tomonidan URL (Yagona resurs identifikatori) yordamida belgilanadi. URLni yozganingizda va GO tugmasini bosganingizda brauzer dasturi masofaviy kompyuterda ishlaydigan veb-server dasturiga so'rov yuboradi (iltimos, veb-sahifani bera olamanmi?). Server dasturi veb-brauzerdan so'rovni yig'adi, veb-sahifani qidirishga harakat qiladi va keyin javobni shakllantiradi.
|
Qidiruv tizimlarida qanday qanday jarayonlar sodir bo’ladi ?
So’rov
So’rov
-Agar server veb-sahifani aniqlay olgan bo'lsa, u HTML faylni veb-brauzerga yuboradi.
-Brauzer serverdan keladigan barcha ma'lumotlarni oladi va veb-sahifani foydalanuvchiga taqdim qiladi.
-Brauzer-server aloqasi barcha fayllar brauzerga o'tkazilgunga qadar davom etadi.
-Shundan so'ng brauzer-server aloqasi uziladi va brauzer oynasida veb-sahifa ko'rsatiladi.
|
Javob
Javob
Web-Crawler (Web-o'rgimchak yoki veb-robot sifatida ham tanilgan) - bu Butunjahon Internet web resurslarini, avtomatlashtirilgan tarzda ko'rib chiqadigan dastur yoki avtomatlashtirilgan skript hisoblanadi. Bu jarayon Internetda skanerlash yoki o'rgimchak harakati deb ham ataladi. Web Crawlerlarsiz qidiruv tizimlari tashkil qilish deyarli imkonsiz. Chunki Web Crawler orqali biz web sahifadagi kerakli resurslarni indekslash imkoniyatiga ega bo'lamiz. soddaroq tushuntiradigan bo'lsak. Web-crawler - bu Internet orqali veb-sayt tarkibi va boshqa ma'lumotlarni qidirish va avtomatik ravishda indekslash uchun ishlatiladigan web dasturdir.
|
Web Crawler nima ?
Google yoki Bing kabi qidiruv tizimlari foydalanuvchi qidiruvlariga javoban tegishli ma'lumotlarni va veb-saytlarni ko'rsatish uchun veb-crawlerlar tomonidan to'plangan ma'lumotlarga qidiruv algoritmini qo'llaydi. Agar dasturchi yoki veb-sayt egasi o'z veb-saytini qidiruv tizimida o'rin egallashini xohlasa, avval uni indekslash kerak. Agar veb-sahifalar tekshirilmasa va indekslanmasa, qidiruv tizimi ularni ongli ravishda topa olmaydi.
Veb-Crawler maʼlum URL manzillar roʻyxatidan boshlab, veb-sahifalarni koʻrib chiqish va toifalarga ajratish orqali ishlaydi. Har bir sahifani ko'rib chiqishdan oldin veb-crawler veb-sahifaning robots.txt faylini ko'rib chiqadi, bu veb-saytga kiradigan botlarning qonun-qoidalarini belgilaydi. Ushbu qoidalar qaysi sahifalarni skanerlash mumkinligini va ularga amal qilish mumkin bo'lgan havolalarni belgilaydi.Keyingi veb-sahifaga o'tish uchun, crawler paydo bo'lgan giperhavolalarni topadi va kuzatib boradi.
|
Do'stlaringiz bilan baham: |
