Va biz taxmin qilish uchun Maksimal a posteriori (map) baholashdan foydalanishimiz mumkin va; birinchisi, keyin o'quv majmuasidagi sinfning nisbiy chastotasi

OʻZBEKISTON RESPUBLIKASI AXBOROT TEXNOLOGIYALARI VA KOMMUNIKATSIYALARINI RIVOJLANTIRISH VAZIRLIGI
MUHAMMAD AL-XOZAZMIY NOMIDAGI TOSHKENT AXBOROT TEXNOLOGIYALARI UNIVERSITETI


TELEKOMMUNIKATSIYA TEXNOLOGIYALARI
Fakulteti 414-20 guruh talabasi
Kompyuter arxitekturasi fanidan
2-amaliy ishi

Bajardi:Rahmatulloyev Dilshodbek

Tekshirdi: TO'RAYEVA MAXLIYO

Toshkent 2022

Mavzu: Naive Bayes

1. Naive Bayes

2. Gauss sodda Bayes
3. Multinomial Naive Bayes
4. Naive Bayesni to'ldiring
Naive Bayes usullari - bu sinf o'zgaruvchisi qiymatini hisobga olgan holda har bir juft xususiyat o'rtasida shartli mustaqillikning "sodda" taxmini bilan Bayes teoremasini qo'llashga asoslangan nazorat qilinadigan o'rganish algoritmlari to'plami. Bayes teoremasi , orqali sinf o'zgaruvchisi va bog'liq xususiyat vektori berilgan quyidagi munosabatni bildiradi:

Oddiy shartli mustaqillik farazidan foydalanish

hamma uchun I,bu munosabatlar soddalashtirilgan

Kiritilgan qiymat doimiy bo'lgani uchun biz quyidagi tasnif qoidasidan foydalanishimiz mumkin:
va biz taxmin qilish uchun Maksimal A Posteriori (MAP) baholashdan foydalanishimiz mumkin va ; birinchisi, keyin o'quv majmuasidagi sinfning nisbiy chastotasi. Turli sodda Bayes klassifikatorlari, asosan, taqsimotga oid taxminlari bilan farqlanadi.
Haddan tashqari soddalashtirilgan taxminlarga qaramay, sodda Bayes klassifikatorlari ko'plab real vaziyatlarda yaxshi ishladi, mashhur hujjatlar tasnifi va spam filtrlash. Kerakli parametrlarni baholash uchun ular oz miqdordagi o'quv ma'lumotlarini talab qiladi. (Naif Bayes nima uchun yaxshi ishlashi va u qaysi turdagi ma'lumotlarga tegishli nazariy sabablar uchun quyidagi havolalarga qarang.)
Naive Bayes o'quvchilari va tasniflagichlari yanada murakkab usullarga nisbatan juda tez bo'lishi mumkin. Sinf shartli xususiyat taqsimotlarini ajratish har bir taqsimotni bir o'lchovli taqsimot sifatida mustaqil ravishda baholash mumkinligini anglatadi. Bu o'z navbatida o'lchovlilik la'natidan kelib chiqadigan muammolarni engillashtirishga yordam beradi.Boshqa tomondan, sodda Bayes munosib tasniflagich sifatida tanilgan bo'lsa-da, u yomon baholovchi ekanligi ma'lum, shuning uchun taxmin_proba dan ehtimollik natijalarini juda jiddiy qabul qilish kerak emas.
Gauss sodda Bayes
GaussianNB tasniflash uchun Gaussian Naive Bayes algoritmini amalga oshiradi. Xususiyatlarning ehtimoli Gauss sifatida qabul qilinadi:

Parametrlar va maksimal ehtimollik yordamida baholanadi.

Multinomial Naive Bayes
MultinomialNB ko'p nomli taqsimlangan ma'lumotlar uchun sodda Bayes algoritmini amalga oshiradi va matn tasnifida qo'llaniladigan ikkita klassik sodda Bayes variantlaridan biridir (bu erda ma'lumotlar odatda so'z vektorlari hisobi sifatida taqdim etiladi, ammo tf-idf vektorlari ham amalda yaxshi ishlashi ma'lum. ). Tarqatish har bir sinf uchun vektorlar bo'yicha parametrlangan, bu erda xususiyatlar soni (matn tasnifida, lug'at hajmi) va sinfga tegishli namunada xususiyatning paydo bo'lish ehtimoli.

Parametrlar maksimal ehtimollikning tekislangan versiyasi, ya'ni nisbiy chastotalarni hisoblash bilan baholanadi:

Naive Bayesni to'ldiring
ComplementNB komplement naive Bayes (CNB) algoritmini amalga oshiradi. CNB standart multinomial sodda Bayes (MNB) algoritmining moslashuvi bo'lib, u ayniqsa muvozanatsiz ma'lumotlar to'plamlari uchun mos keladi. Xususan, CNB modelning vaznini hisoblash uchun har bir sinfning to'ldiruvchisi statistikasidan foydalanadi. CNB ixtirochilari empirik tarzda CNB uchun parametr baholari MNBga qaraganda barqarorroq ekanligini ko'rsatadilar. Bundan tashqari, CNB muntazam ravishda matn tasniflash vazifalari bo'yicha MNB dan (ko'pincha sezilarli farq bilan) ustun turadi. Og'irliklarni hisoblash tartibi quyidagicha:

bu yerda yig‘indilar sinfga kirmagan barcha hujjatlar ustidan bo‘lsa , hujjatdagi atamaning count yoki tf-idf qiymati , MNBda joylashganga o‘xshash silliqlashtiruvchi giperparametr va . Ikkinchi normalash MNBda uzunroq hujjatlarning parametr baholarida ustunlik qilish tendentsiyasini ko'rib chiqadi. Tasniflash qoidasi:

I,e,a ,ya'ni, eng kambag'al to'ldiruvchi mos keladigan sinfga hujjat tayinlanadi.