22. Qidiruv algoritmlarida indekslash nima?

36. Indeksator vazifasi nima?
Sanoq indeksni qanday yaratish jarayoni indeksni qurish (index construction) yoki indekslash deb ataladi (indexing). Bunday ishni bajarish jarayoni yoki bu ishni bajaradigan mashina indeksator deb ataladi (indexer). Indekslash algoritmlarini ishlab chiqish jarayoni apparat imkoniyatlari bilan bog’liq holda cheklangan. Shu sababli, biz ushbu bobni indeksatsiya bilan bog'liq kompyuter texnik ta’minti asoslarini umumiy ko'rib chiqish bilan boshlaymiz. Shundan so'ng biz statik kollektsiyalar bilan ishlashning samarali bitta mashina algoritmini blokirovkalashga asoslangan indekslashni (blocked sort-based indexing) tasvirlaymiz. Buni oddiy saralashga asoslangan indeksatsiya algoritmining kengaytiriladigan versiyasi deb hisoblash mumkin. Bir martalik xotirada indekslash (single-pass in-memory indexing), Ushbu algoritm yanada keng qamrovlidir, chunki u so’zlarni xotirada saqlashni ta'minlamaydi. Juda katta ma’lumotlar to'plamlarni qidirish uchun, masalan, veb tarmoqdagi-indeksasiya yuzlab yoki minglab kompyuterlarning klasterlari bo'yicha taqsimlanishi kerak. Tez-tez o'zgarib turadigan to'plamlar bilan ishlash, dinamik indekslashni talab qiladi. Bu to'plamda sodir bo’lgan o'zgarishlarni indeksda darhol aks ettirishni ta'minlaydi.
37. Veb-qidiruvda hujjatlar qayerda joylashadi?
Indeksni tuzish boshqa boblarda ko'rib chiqilgan bir nechta mavzular bilan bog'liq. Indekslash uchun dastlabki matn kerak, lekin hujjatlar turli ko’rinishda kodlanadi. Indeksator o'qiydi va yozadi, shuningdek ikkala oraliq indeks fayllarini ham, yakuniy indeksni ham siqadi va arxivdan ochadi. Veb-qidiruvda hujjatlar lokal fayl tizimi(lokal disk-HDD)da saqlanmaydi, balki ularni maxsus robot yordamida yuklab olinadi. Korporativ tizimlarda aksariyat hujjatlar turli xil axborot tizimlarida, pochta dasturlarida va ma'lumotlar omborlarida saqlanadi. Shunga qaramay ushbu ilova dasturlarning aksariyati http protokoli orqali ishlash imkoniyati mavjud, odatda dasturning o’z interfeyslari yanada samaraliroq bo’ladi (Application Programming Interfaces-API). O'quvchilar indekslash jarayoniga manba kodini etkazib beradigan quyi tizimlarni yaratish o'z-o'zidan qiyin bo'lishi mumkinligini bilishlari kerak.