Web Crawler qanday ishlaydi ?
Rasmda ko'rib turganinggizdek crawlerlashning 5 xil turi mavjud. Veb-sahifada crawler meta teglar deb ataladigan nusxa va tavsifiy ma'lumotlarni saqlaydi va keyin qidiruv tizimi kalit so'zlarni skanerlashi uchun uni indekslaydi. Bu jarayon keyinchalik sahifa soʻrov boʻyicha qidiruv natijalarida koʻrsatilishini hal qiladi va agar shunday boʻlsa, muhimlik tartibida indekslangan veb-sahifalar roʻyxatini qaytaradi.
Agar veb-sayt egasi o'z sayt xaritasini qidiruv tizimlariga saytni ko'rib chiqish uchun taqdim qilmasa , veb-brauzer unga bog'langan indekslangan saytlardan havolalar orqali veb-saytni topishi mumkin bo'ladi, lekin bu jarayon da qidirilgan ma'lumot o'rni eng quyi pog'onalarda joylashadi.
Ko'pgina mashhur qidiruv tizimlarida veb-sahifalar haqida ma'lumot to'plash uchun ma'lum bir algoritmdan foydalanadigan o'z veb-crawlerlari mavjud.
|
Web Crawler qanday turlari mavjud ?
"Indeks" so'zi Kompyuter va hisoblash tizimlarida ko'p narsalarni anglatishi mumkin, ammo qidiruv tizimlarida uni quyidagicha talqin qilinadi:
Web sahifalardagi Crawlerlar harakati davomida avtomatik indekslash jarayoni ham amalga oshiriladi bunda har bir indeks ma'lumotlari qidiruv tizimining ma'lumotlar omboriga saqlanadi.
Agarda web sahifada biror o'zgarish bo'lsa Crawlerlar uni darhol aniqlaydi va index bazasi yangilanadi. Sodda qilib tushuntirilganda Indexlash bu internetdagi har bir resursni ma'lum bir kalit so'zlar bilan belgilash .Albatta bu jarayonlar orqali asosiy maqsad qidiruv tizimini mukammallashtirish va foydalanuvchiga aniq so'rovi bo'yicha aniq ma'lumot taqdim etish
| | |
Web Indeks
Agar bizda indeks bo'lmasa, so'rovimizga mos keladigan hujjatlarni topish uchun butun korpus bo'ylab qidirish juda ko'p vaqtni oladi.
Indeks yaratish, qidirish jarayoni tezroq va aniqlik yaxshiroq ekanligini anglatadi.
Qidiruv tizimi har bir hujjat nima haqida ekanligini bilish uchun uni skanerlashi shart – bu butun jarayonni maksimal darajada tezlashtiradi.
|
Nima uchun indeksdan foydalanish kerak?
Do'stlaringiz bilan baham: |
