Bajardi: Xayitov Zuhriddin Tekshirdi: Raximov Mexriddin Toshkent – 2022 Naif Bayes algoritmiga kirish Naif Bayes algoritmlari

Gauss Naive Bayes klassifikatori
Gauss Naive Bayesda har bir xususiyat bilan bog'liq uzluksiz qiymatlar Gauss taqsimotiga ko'ra taqsimlanadi deb taxmin qilinadi. Gauss taqsimoti normal taqsimot deb ham ataladi. Chizilganida, u quyida ko'rsatilganidek, xususiyat qiymatlarining o'rtacha qiymatiga nisbatan simmetrik bo'lgan qo'ng'iroq shaklidagi egri chiziqni beradi:

Xususiyatlarning ehtimolligi Gauss deb qabul qilinadi, shuning uchun shartli ehtimollik quyidagicha ifodalanadi:

P(x_i | y) = \frac{1}{\sqrt{2\pi\sigma _{y}^{2} }} exp \left (-\frac{(x_i-\mu _{y})^ 2}{2\sigma _{y}^{2}} \o‘ng )

Endi biz scikit-learn yordamida Gauss Naive Bayes klassifikatorining amalga oshirilishini ko'rib chiqamiz.
Output:
Gaussian Naive Bayes model accuracy(in %): 95.0
Boshqa mashhur Naive Bayes tasniflagichlari:
# iris ma'lumotlar to'plamini yuklang
from sklearn.datasets import load_iris
iris = load_iris()

# xususiyat matritsasi (X) va javob vektorini (y) saqlang
X = iris.data
y = iris.target

# X va y ni o'quv va sinov to'plamlariga bo'lish

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4, random_state=1)

# o'quv to'plamida modelni o'rgatish

from sklearn.naive_bayes import GaussianNB
gnb = GaussianNB()
gnb.fit(X_train, y_train)

# test to'plamida bashorat qilish

y_pred = gnb.predict(X_test)

# Haqiqiy javob qiymatlarini (y_test) taxmin qilingan javob qiymatlari (y_pred) bilan solishtirishfrom sklearn import metrics

print("Gaussian Naive Bayes model accuracy(in %):", metrics.accuracy_score(y_test, y_pred)*100)

Multinomial Naive Bayes: Xususiyat vektorlari ko'p nomli taqsimot orqali ma'lum hodisalar hosil bo'lgan chastotalarni ifodalaydi. Bu odatda hujjat tasnifi uchun ishlatiladigan hodisa modelidir.

Bernoulli Naive Bayes: Ko'p o'zgaruvchan Bernoulli hodisasi modelida xususiyatlar kirishlarni tavsiflovchi mustaqil mantiqiy (ikkilik o'zgaruvchilar) hisoblanadi. Ko'p nomli model singari, bu model hujjatlarni tasniflash vazifalari uchun mashhur bo'lib, bu erda atama chastotalari (ya'ni, hujjatdagi so'zning chastotasi) emas, balki ikkilik atamaning paydo bo'lishi (ya'ni, so'z hujjatda uchraydi yoki yo'q) xususiyatlaridan foydalaniladi.
Maqolaning oxiriga yetib borar ekanmiz, bu erda bir nechta muhim fikrlarni ko'rib chiqish kerak:

Haddan tashqari soddalashtirilgan taxminlarga qaramay, sodda Bayes klassifikatorlari ko'plab real vaziyatlarda yaxshi ishladi, mashhur hujjatlar tasnifi va spam filtrlash. Kerakli parametrlarni baholash uchun ular oz miqdordagi o'quv ma'lumotlarini talab qiladi.

Naive Bayes o'quvchilari va tasniflagichlari yanada murakkab usullarga nisbatan juda tez bo'lishi mumkin. Sinf shartli xususiyat taqsimotlarini ajratish har bir taqsimotni bir o'lchovli taqsimot sifatida mustaqil ravishda baholash mumkinligini anglatadi. Bu o'z navbatida o'lchovlilik la'natidan kelib chiqadigan muammolarni engillashtirishga yordam beradi.
Bayes tasnifi maksimal ehtimollik gipotezasiga asoslanadi, ya'ni. d ob'ekt cj ( cj∈C ) sinfiga tegishli deb hisoblanadi, agar a posteriori maksimal ehtimolga erishilsa : maxcP(cj|d) . Bayes formulasiga ko'ra,
P(cj|d)=P(cj)P(d|Cj)P(d)≈P(cj)P(d|cj),

bu yerda P(d|cj) cj sinf ob'ektlari orasida d ob'ektining uchrashish ehtimoli; P(cj) va P(d) cj sinfi va d ob'ektining aprior ehtimolliklaridir (ikkinchisi sinf tanlashga ta'sir qilmaydi va o'tkazib yuborilishi mumkin).

Agar biz tasniflanayotgan ob'ektlarni tavsiflovchi barcha xususiyatlar to'liq teng va bir-biriga bog'liq emas degan "sodda" taxmin qilsak, u holda P(d|cj) ni xi ( xi∈) xususiyatini qondirish ehtimoli ko'paytmasi sifatida hisoblash mumkin. X ) cj sinf ob'ektlari orasida:

P(d|cj)=∏i=1|X|P(xi|cj),

Bu erda P(xi|cj) xi xususiyatining d∈cj bo'lishiga qo'shgan hissasining ehtimollik bahosi.

Amalda juda kichik shartli ehtimollarni ko'paytirishda muhim raqamlarning yo'qolishi kuzatilishi mumkin va shuning uchun P(xi|cj) ehtimollik baholari o'rniga bu ehtimolliklarning logarifmlari qo'llaniladi. Logarifm monoton ravishda ortib boruvchi funksiya bo'lganligi sababli, ehtimollik logarifmining eng katta qiymatiga ega bo'lgan cj klassi eng ehtimolli bo'lib qoladi. Keyin Naive Bayes tasniflagichining qaror qoidasi (Naive Bayes klassifikatori) quyidagi yakuniy shaklni oladi:

c∗=argcj∈Cmax[logP(cj)+∑i=1XP(xi|cj)].

Qilish kerak bo'lgan yagona narsa - logarifm ehtimolliklarining qiymatlari 0 ga yaqin emasligiga ishonch hosil qilish (buning oldini olish uchun siz Laplas tekisligini qo'llashingiz mumkin).

R muhitida hisob-kitoblar odatda klaR paketidagi NaiveBayes() funksiyalari yoki e1071 paketidagi naiveBayes() funksiyalari yordamida amalga oshiriladi. Iris gullarini tasniflash misolida ulardan foydalanishni ko'rib chiqing: