Kompyuter injinering fakulteti

Bayes usulida sinflashtirish
Bayes tasnifi - bu ma'lumotlardan o'rganish nimani anglatishini boshqacha ko'rinishga asoslangan o'rganish va xulosa chiqarishga ehtimoliy yondashuv bo'lib, unda ehtimollik o'rganilayotgan munosabatlardagi noaniqlikni ifodalash uchun ishlatiladi.

Bayes teoremasi
Agar bizga A hodisasi bilan shartlangan B hodisasining ehtimoli berilgan bo'lsa P(B/A), keyin Bayes teoremasi P(B/A) va marjinallardan foydalanib P(A/B) ni olishga imkon beradi. Ushbu konvertatsiya Bayesian Learningda katta ahamiyatga ega. Aytaylik, bizga x:{1,2,…,N} ma’lumotlar nuqtalari bilan x:{x1,x2,…,xd}(d-o‘lchovli) ma’lumotlar berildi. Va biz buni ikkita C1 va C2 ​​sinfiga kiritishimiz kerak. Demak, biz x kuzatuvi berilgan bu sinflarning ehtimolliklarini bilishdan manfaatdormiz. Bayes teoremasidan foydalanib, buni quyidagicha ifodalash mumkin:

p(Ck) ni Ck sinfining oldingi ehtimolligi, p(Ck/x) ni esa keyingi ehtimollik deb talqin qilish mumkin. Shunday qilib, p (c1) - ma'lumotlar nuqtasi c1 sinfiga tegishli bo'lish ehtimoli. P(C1/x) - Bayes teoremasi yordamida qayta ko'rib chiqilgan mos keladigan ehtimollik. To'g'ridan-to'g'ri ushbu posterior sinf ehtimolliklarini modellashtiradigan yondashuvlar, p(Ck/x) va sinflardan biriga tayinlash uchun qandaydir qaror qoidasidan foydalanadigan yondashuvlar diskriminativ modellardir. Kirish (x) va chiqishning to'g'ridan-to'g'ri yoki bilvosita taqsimlanishini modellashtiradigan yondashuvlar generativ model deb nomlanadi. Kirish taqsimotini modellashtirish bizga sintetik ma'lumotlarni yaratishda yordam beradi. agar bizga modeldan yuqori o'tkazuvchanlik kerak bo'lsa va bizning maqsadimiz faqat Sinflashtirish bo'lsa (keng ma'noda bizni faqat ys qiziqtiradi), u holda diskriminativ modellar eng yaxshisidir. Agar biz qo'shimcha ravishda har bir ma'lumot nuqtasi qanchalik ehtimolini o'rganishni istasak, bashoratning aniqligini bilib, tashqi ko'rsatkichlarni aniqlasak, generativ modellar eng yaxshisidir. Generativ modellar, agar bizda kamroq ma'lumot nuqtalari bo'lsa ham ishlashi mumkin.
Bayes modelini o'rgatish va bashorat qilish uchun qadamlar:

• 
  Model tomonidan o'rganilishi kerak bo'lgan parametrlar ro'yxatini aniqlang
  
• 
  Har bir parametr yoki asosiy o'zgaruvchilardan keyin keladigan taqsimotni aniqlang
  
• 
  Parametrlardan ustun qo'ying: ma'lumotlarni oldindan tushunish
  
• 
  Parametrlar bo'yicha ma'lumotlarning ehtimolini hisoblang
  
• 
  Normallashtirilganda ehtimollik * oldingi taqsimotni beradi
  
• 
  Posterior taqsimotni taxmin qilish uchun ishlatiladigan MCMC/variatsion xulosa
  
• 
  Keyin MCMC algoritmini ishga tushiramiz va parametr zanjirlarini olamiz
  
• 
  Zanjirlar endigina joylashayotganda (chuqur o'rganishda isinish bosqichi deb hisoblash mumkin) dastlabki kuyish iteratsiyasini bekor qiling - ularning keyingi taqsimotiga yaqinlashing.
  
• 
  Posterior taqsimotdan foydalanib, bashoratli taqsimotni shakllantiring va bashorat qiling.
  

Bitta o'zgaruvchi Age uchun o'zgaruvchan ehtimollik taqsimotini sodda tarzda bajarilishi :

9-rasm. Bitta o'zgaruvchi Age uchun o'zgaruvchan ehtimollik taqsimoti.
Bu ma'lumotlardan hisoblangan o'rtacha va standart og'ishlarni ko'rsatish orqali taxminiy taqsimoti. Biz aniq ko'rishimiz mumkinki, yaqinlashuv yaxshi emas, lekin yosh bo'yicha qiymatlar oralig'ini qamrab olishi mumkin. G'oya shuni ta'kidlash kerakki, agar biz ma'lum bir tarqatish uchun parametrlarni bilsak, u holda biz o'quv ma'lumotlarini va ehtimol undan ham ko'proq narsani qayta yaratishimiz mumkin. Bu bizga taxminiy modeldan tashqari gipoteza sinovini o'tkazishga imkon beradi(10-rasm).

10-rasm. Distributlarning o’zgarish grafigi natijasi.
Keling, taniqli Titanik ma'lumotlarini olaylik. Bu erda omon qolishni bashorat qilish vazifasi. Buning uchun Kaggle saytidan foydalanamiz va Titanik ma'lumotlar to'plamida omon qolishni bashorat qilish uchun model quraman . Model eng yaxshisi emas va ko'plab yaxshilanishlar uchun joy mavjud. G'oya ko'proq mashinani o'rganishni odatiy sozlash tilidagi pyro qobiliyatini namoyish qilishdir.
Modelda foydalanilgan xususiyatlar ro'yxati:

O'rnatishda SVI (Stochastic Variational Inference) dan foydalanamiz.
SVI (pyro.infer.svi) kabi xulosa algoritmlari bizga (yo'riqnoma) kabi ixtiyoriy stokastik funktsiyalardan posterior taqsimotni taxminiy ravishda foydalanishga imkon beradi.
Qo'llanma ikkita shartga javob berishi kerak -

• 
  modelda paydo bo'lgan barcha kuzatilmagan (ya'ni shartli bo'lmagan) namunaviy bayonotlar qo'llanmada ko'rsatiladi
  
• 
  yo'riqnoma model bilan bir xil kirish imzosiga ega (ya'ni, bir xil argumentlarni oladi)
  

SVI bizga posterior taqsimotni topishda yordam beradi.

1. 
   Modelni aniqlang
   

2. 
   Guideni aniqlang
   

3. SVI ob'ektiga model va yo'riqnomani taqdim eting va uni mos optimallashtiruvchi bilan ishga tushiring. Yo'qotish funktsiyasini joyiga qo'ying.



Quyida yuqoridagi o'rnatish natijasi - biz ko'rib turganimizdek, o'rganish sodir bo'lmoqda va yo'qotishlar kamaymoqda.

11-rasm. Barcha o'zgaruvchan parametrlar bo'yicha o'rtacha va ishonchli interval.

Model 76,80% aniqlikka erisha oldi va qo'shimcha ravishda biz bajarayotgan har bir bashoratda noaniqlikni olamiz, bu jarayonning asosiy joyi. Nuqtalarni bashorat qilish jarayonida biz bashoratlarimiz bo'yicha noaniqlik zonalarini olmaymiz.


Foydalangan adabiyotlar

1. 
   С. В. Афанасьева / Технология интеллектуального анализа данных / Maskva • Sankt-Peterburg / 2013y.94-96
   
2. 
   С. В. Афанасьева / Технология интеллектуального анализа данных / Maskva • Sankt-Peterburg / 2013y.140
   
3. 
   О.Н. САПРЫКИН / ИНТЕЛЛЕКТУАЛЬНЫЙ АНАЛИЗ ДАННЫХ / Samara / Издательство Самарского университета / 2020г. 16-23
   
4. 
   Third Edition / Data Mining Concepts and Techniques /AQSH/2012y. 18
   
5. 
   Dr. Harsh Bhasin / Data Structures with Python / London NW1 5PU / 2023y
   
6. 
   Third Edition / Data Mining Concepts and Techniques /AQSH/2012y. 415