Toshkent-2022 yakuniy nazorat ishining savollari javoblari 1-savol. Aloqadorlikni baxolash 2-savol

Toshkent-2022
YAKUNIY NAZORAT ISHINING SAVOLLARI JAVOBLARI
1-savol. Aloqadorlikni baxolash
2-savol. Tizimning sifati va uning foydalanuvchi uchun foydaliligi tahlili


1. ALOQADORLIKNI BAXOLASH
Tizimni to’g’ri baholash uchun test ma’lumotlariga bo’lgan ehtiyoj testlar to’plamida saqlangan hujjatlarga va tizimdan kelajakda foydalanishga mos kelishi kerak. Ushbu ma’lumotlarga bo’lgan ehtiyojni mavzu bo’yicha mutaxassislar ishlab chiqqani ma’qul. Axborot ehtiyojlari sifatida so’rov atamalarining tasodifiy birikmalaridan foydalanish noo’rin, chunki ular odatda ularning haqiqiy taqsimotini aks ettirmaydi.
Axborot ehtiyojlari va hujjatlarga qo’shimcha ravishda aloqadorlik baholarini to’plash kerak. Bu jarayon vaqt va pul talab etadi, chunki u odamlarning ishtirokini o’z ichiga oladi.
Cranfield kolleksiyasi kabi kichik kolleksiyalar uchun to’plamdagi har bir so’rov-hujjat juftligi uchun aloqadorlik ballari olingan. Katta zamonaviy to’plamlardan foydalanganda, har bir so’rov uchun hujjatlarning faqat bir kichik to’plamining dolzarbligini baholash odatiy holdir. Buning uchun eng ko’p qo’llaniladigan usul birlashma usuli bo’lib, unda bir nechta ma’lumot qidirish tizimlari (odatda baholanadigan tizimlar) tomonidan qaytarilgan va ehtimol boshqa manbalardan olingan birinchi k hujjatdan iborat bo’lgan to’plamning kichik to’plami uchun ahamiyatliligi baholanadi. , masalan, interfaol jarayon davomida mutaxassislar tomonidan topilgan kalit so’zlar yoki hujjatlar uchun mantiqiy qidiruv natijalaridan.
Inson-robot emas, so’rov bo’yicha hujjatning aloqadorlik haqidagi standart xulosalarini xotirjamlik bilan qaytaradi. Uning aloqadorlik haqidagi hukmlarini bildira oladi.
Sub’ektiv va o’zgaruvchan xarakter. Biroq, bu muammo emas: oxir-oqibat, axborotni qidirish tizimining muvaffaqiyati aynan shu sub’ektiv foydalanuvchilarning axborot ehtiyojlarini qanday qondirishiga bog’liq.
Shunga qaramay, hujjatlarning dolzarbligini baholashda mutaxassislarning izchilligini o'rganish va baholash qiziq. Ijtimoiy fanlarda ballar izchilligining eng keng tarqalgan o'lchovi kappa statistikasi hisoblanadi. U toifali reytinglar uchun mo'ljallangan va reytinglarning tasodifiy takrorlanishini tuzatadi.

Bu erda P (A) - mos keladigan ekspert baholarining nisbati, P (E) - tasodifiy mos keladigan baholarning kutilgan nisbati. P (E) parametrini turli usullar bilan baholash mumkin. Agar xulosalar tegishli bo‘lsa!
Faqat ikkita sinfdan keyin tasodifiy o‘yinlarning kutilgan darajasi 0,5 ni tashkil qiladi. Biroq, sinf taqsimoti odatda egri, shuning uchun kutilgan izchillik darajasini hisoblash uchun odatda marjinal statistika qo‘llaniladi. Mutaxassislar tomonidan yig‘ilgan marjinal taqsimot yoki har bir ekspert uchun marjinal statistika alohida qo‘llanilishiga qarab P(E) qiymatini baholashning ikkita imkoniyati mavjud. Amalda ikkala usul ham qo‘llaniladi, ammo biz birlashgan marjinal taqsimotga e’tibor qaratamiz, chunki mutaxassislar o‘rtasidagi tizimli tafovutlar bilan bu bizga ko‘proq konservativ hisob-kitoblarni olish imkonini beradi. Hisob-kitoblar jadvalda keltirilgan(8.2-jadval).
Bir-biriga aytiladi, keyin kappa statistikasi birga teng; agar ularning fikrlari tasodifan mos tushsa, u holda kappa statistikasi nolga teng; va tafovutlar tasodif tushuntira oladigan darajadan katta bo‘lsa, bu salbiy hisoblanadi. Agar ikkitadan ortiq mutaxassis bo‘lsa, siz kappa statistikasining o‘rtacha juft qiymatlarini hisoblashingiz mumkin. Amalda kappa qiymati 0,8 dan yuqori bo‘lsa, yaxshi muvofiq deb hisoblanadi, 0,67 va 0,8 oralig‘i adolatli, 0,67 dan past esa baholash uchun shubhali asosdir. Biroq, aniq chegaralar ma’lumotlarning maqsadiga bog‘liq.
8.2-jadval. Kappa statistikasini hisoblash

		2-ekspertning muvofiqlik bo‘yicha xulosalari
1-ekspertning muvofiqlik bo‘yicha xulosalari		Xa	Yo‘q	Jami
	Xa	300	20	320
	Yo‘q	10	70	80
	Jami	310	90	400

Kelishilgan xulosalarning kuzatilgan nisbati

P(A)=(300+70)/400=370/400=0,925
Birlashgan marjinal statistikasi
P (ahamiyatsiz) = (80 + 90)/(400 + 400) = 170/800 = 0,2125
P (tegishli) = (320 + 310)/(400 + 400) = 630/800 = 0,7878
Mutaxassislarning fikrlari tasodifan mos kelishi ehtimoli
P(E) = P(muvofiq)2 + P(tegishli)2 = 0,21252 + 0,78782 = 0,665
kappa statistikasi
k = (P (A) - P (E)) / (1 - P (E)) = (0,925 - 0,665) / (1 - 0,665) = 0,776
Aloqador hujjatlariga oid topilmalarning izchilligi TREC loyihalarida va tibbiy ma’lumotni qidirish to‘plamlarida o‘lchandi. Qoida tariqasida, kappa statistikasi qoniqarli diapazonda bo’ladi (0,67 dan 0,8 gacha). Mutaxassislarning hujjatlarning dolzarbligi to‘g‘risidagi ikkilik xulosalari bir-biriga nisbatan zaif darajada mos kelishi baholashda batafsilroq shkaladan foydalanilmasligining sabablaridan biridir. Axborot-qidiruv tizimlarini baholash natijalari individual ekspertlarning baholashlaridagi tebranishlarga qaramay, to‘g‘ri yoki yo‘qmi degan savolga javob berish uchun bitta ekspertning baholashlari standart sifatida qabul qilingan tajribalar o‘tkazildi. Bunday holda, mutlaq sifat ko‘rsatkichlari sezilarli darajada o‘zgarishi mumkin, ammo bir xil tizimning turli xil tizimlari yoki variantlarining nisbiy reytingi saqlanib qoladi.