Toshkent-2022 yakuniy nazorat ishining savollari javoblari 1-savol. Aloqadorlikni baxolash 2-savol

Aloqadorlik kontseptsiyasining afzalliklari va kamchiliklari
Tegishli va ahamiyatsiz hujjatlarning standart modeliga asoslangan tizimni baholashning afzalligi shundaki, bizda belgilangan shartlar mavjud, shuning uchun biz bir xil tizimning turli xil tizimlari yoki modifikatsiyalarini o‘z ichiga olgan qiyosiy tajribalar o‘tkazishimiz mumkin. Bunday rasmiy sinov ancha arzon va tizim parametrlarining uning sifatiga ta’sirini foydalanuvchilar ishtirokidagi tajribalarga asoslangan holda aniqroq anglash imkonini beradi. Haqiqatan ham, biz ishonadigan rasmiy ko‘rsatkichga asoslanib, biz parametrlarni qo‘lda sozlash o‘rniga, mashinani o‘rganish usullaridan foydalangan holda tizim sifatini optimallashtirishimiz mumkin. Albatta, agar rasmiy ko‘rsatkich foydalanuvchining ehtiyojlarini yomon ta’riflasa, unda bu yondashuv foydalanuvchi qoniqishini oshirish uchun hech narsa qilmaydi. Bizning fikrimizcha, axborot-qidiruv tizimlari sifatining standart rasmiy ko‘rsatkichlariga qaramay soddalashtirishlar juda yaxshi va rasmiy hisob-kitoblarni optimallashtirish bo‘yicha so‘nggi ishlar buni yorqin tarzda tasdiqlaydi. Rasmiy baholashlar natijasida ishlab chiqilgan ko‘plab texnikalar mavjud bo‘lib, ular haqiqiy tizimlar sifatini yaxshilaydi, masalan, TREC loyihasida hujjat uzunligini normallashtirish usullari va reytingdagi parametr og‘irliklarini sozlash uchun mashinani o‘rganish usullari xisoblanadi.
Bu mavhumlik bilan bog‘liq muammolar yo‘q degani emas. Masalan, to‘plamdagi bir hujjatning dolzarbligi boshqa bir hujjatning dolzarbligidan mustaqil hisoblanadi.
(Axborot-qidiruv tizimlari va ularning sifatini baholash usullarining aksariyati ushbu taxminga asoslanadi - hujjatlar quyidagiga nisbatan baholanadi. So‘rovlar bir-biriga nisbatan emas.) Xulosalar ikkilikdir: dolzarblikni baholashda hech qanday nuanslar yo‘q. Hujjatning tegishliligini baholash - axborotga bo‘lgan ehtiyoj mutlaq va ob’ektiv hisoblanadi. Shu bilan birga, hujjatlarning dolzarbligi ko‘rsatkichlari sub’ektiv bo‘lib, turli odamlar turli xil hukmlar chiqaradi. Amalda, mutaxassislar ham xato qiladilar va e’tiborsizlik ko‘rsatadilar. Bundan tashqari, axborot-qidiruv tizimlarini baholashda ko‘pincha qidiruv natijalarini ko‘rishda ma’lumotlarga bo‘lgan ehtiyoj o‘zgarmasligi taxmin qilinadi. Bitta toʻplamga asoslangan natijalar toʻplamning oʻziga, shuningdek, soʻrovlar va tegishlilik ballari toʻplamiga juda bogʻliq. Biroq, ba’zida baholash natijalarini boshqa mavzu yoki foydalanuvchilar guruhiga o‘tkazish mumkin emas.
Ushbu muammolarning ba’zilarini hal qilish mumkin. So‘nggi tajribalarda tizimlar, shu jumladan INEX loyihalari, TREC va NTCIR ning ba’zi treklari sifatini baholash uchun hujjatlar uch yoki to‘rtta sinfga bo‘lingan holda tegishlilik reytingi shkalasidan foydalaniladi: zaif tegishlidan yuqori darajada tegishligacha. INEX loyihasi doirasida sifatni baholashni tashkil etishning batafsil muhokamasi keltirilgan. Yuqorida tavsiflangan hujjatning dolzarbligi bo‘yicha qidiruv ballarini baholash usullari bilan bog‘liq bitta aniq muammo mavjud: tegishlilik va chegaraviy ahamiyatga egalik o‘rtasidagi farq, ya’ni. Hujjatda biron bir foydali xususiyat mavjudligi foydalanuvchi boshqa hujjatlarni ko‘rib chiqqandan so‘ng farqlarini anglashi mumkin bo‘ladi. (Carbonell va Goldstein,1998).