1-topshiriq. Mashinani o’qitish. Lobe dasturida ishlash

4-topshiriq.Nazoratsiz o’qitish modellari. Hidden Markov Model
Markov jarayonining o'zini kuzatish mumkin emas, faqat etiketli to'plar ketma-ketligi, shuning uchun bu tartib "yashirin Markov jarayoni" deb ataladi. Bu 1-rasmda ko'rsatilgan diagrammaning pastki qismida tasvirlangan, bu erda har bir holatda y1, y2, y3, y4 to'plarini chizish mumkinligini ko'rish mumkin. Agar kuzatuvchi urnalarning tarkibini bilsa va uchta to'pning ketma-ketligini kuzatgan bo'lsa ham, masalan. Konveyerda y1, y2 va y3 bo'lsa ham, kuzatuvchi uchinchi to'pni qaysi urnadan (ya'ni, qaysi holatda) tortib olganiga haligacha ishonch hosil qila olmaydi. Biroq, kuzatuvchi boshqa ma'lumotlarni ishlab chiqishi mumkin, masalan, uchinchi to'p urnalarning har biridan kelgan ehtimoli. Bir-biridan uzoqda yashaydigan va o'sha kuni qilgan ishlari haqida har kuni telefon orqali gaplashadigan ikki do'st Elis va Bobni ko'rib chiqaylik. Bobni faqat uchta mashg'ulot qiziqtiradi: parkda sayr qilish, xarid qilish va kvartirasini tozalash. Nima qilish kerakligini tanlash faqat ma'lum bir kundagi ob-havo bilan belgilanadi. Elis ob-havo haqida aniq ma'lumotga ega emas, lekin u umumiy tendentsiyalarni biladi. Bob unga har kuni qilgan gaplariga asoslanib, Elis ob-havo qanday bo'lganini taxmin qilishga harakat qiladi.Elisning fikricha, ob-havo diskret Markov zanjiri sifatida ishlaydi. "Yomg'irli" va "Quyoshli" ikkita holat bor, lekin u ularni bevosita kuzata olmaydi, ya'ni ular undan yashiringan. Har kuni Bob ob-havoga qarab quyidagi harakatlardan birini bajarishi uchun ma'lum bir imkoniyat bor: "yurish", "do'kon" yoki "tozalash". Bob Elisga o'z faoliyati haqida gapirganligi sababli, bu kuzatishlar. Butun tizim yashirin Markov modeliga (HMM) tegishli.Elis mintaqadagi umumiy ob-havo tendentsiyalarini biladi va Bob o'rtacha nima qilishni yaxshi ko'radi. Boshqacha qilib aytganda, HMM parametrlari ma'lum. Ular Pythonda quyidagicha ifodalanishi mumkin:

Quyidagi diagrammada yaratilgan HMM ning umumiy arxitekturasi ko'rsatilgan. Har bir oval shakl tasodifiy o'zgaruvchini ifodalaydi, u har qanday qiymatlarni qabul qilishi mumkin. X(t) tasodifiy o'zgaruvchisi t vaqtidagi yashirin holatdir (yuqoridagi diagrammadagi model bilan, x(t) ∈ { x1, x2, x3 }). y(t) tasodifiy miqdor t vaqtidagi kuzatuvdir (y(t) ∈ { y1, y2, y3, y4 } bilan). Diagrammadagi o'qlar (ko'pincha panjara diagrammasi deb ataladi) shartli bog'liqliklarni bildiradi.Chizmadan ko‘rinib turibdiki, yashirin x(t) o‘zgaruvchining t vaqtidagi shartli ehtimollik taqsimoti har doim yashirin o‘zgaruvchining qiymatlari berilgan x(t − 1) faqat yashirin o‘zgaruvchining qiymatiga bog‘liq. ); t - 2 va undan oldingi vaqtdagi qiymatlar hech qanday ta'sir ko'rsatmaydi. Bu Markov mulki deb ataladi. Xuddi shunday, kuzatilayotgan y(t) o'zgaruvchining qiymati faqat x(t) yashirin o'zgaruvchining qiymatiga bog'liq (ikkalasi ham t vaqtida).Bu erda ko'rib chiqilgan yashirin Markov modelining standart turida yashirin o'zgaruvchilarning holat fazosi diskretdir, kuzatuvlarning o'zi esa diskret (odatda kategorik taqsimotdan hosil bo'lgan) yoki doimiy (odatda Gauss taqsimotidan) bo'lishi mumkin. Yashirin Markov modelining parametrlari ikki xil bo'lib, o'tish ehtimoli va emissiya ehtimoli (chiqish ehtimoli deb ham ataladi). O'tish ehtimoli {\displaystyle t-1}t-1 vaqtidagi yashirin holatni hisobga olgan holda t vaqtidagi yashirin holatni tanlash usulini boshqaradi.Yashirin holat fazosi toifali taqsimot sifatida modellashtirilgan N ta mumkin bo'lgan qiymatlardan biridan iborat deb faraz qilinadi. (Boshqa imkoniyatlar uchun kengaytmalar boʻlimiga qarang.) Bu t vaqtida yashirin oʻzgaruvchi boʻlishi mumkin boʻlgan N ta mumkin boʻlgan holatlarning har biri uchun ushbu holatdan N ta mumkin boʻlgan holatlarning har biriga oʻtish ehtimoli mavjudligini bildiradi. vaqtdagi yashirin o'zgaruvchi {\displaystyle t+1}t+1, jami {\displaystyle N^{2}}N^{2} o'tish ehtimoli uchun. E'tibor bering, har qanday holatdan o'tish uchun o'tish ehtimoli to'plami 1 ga teng bo'lishi kerak. Shunday qilib, o'tish ehtimolining {\displaystyle N\times N}N\times N matritsasi Markov matritsasi hisoblanadi. Har qanday o'tish ehtimoli boshqalar ma'lum bo'lgandan keyin aniqlanishi mumkinligi sababli, jami {\displaystyle N(N-1)}N(N-1) o'tish parametrlari mavjud.Bundan tashqari, N mumkin bo'lgan har bir holat uchun, yashirin o'zgaruvchining o'sha paytdagi holatini hisobga olgan holda, ma'lum bir vaqtda kuzatilgan o'zgaruvchining taqsimlanishini tartibga soluvchi emissiya ehtimolliklari to'plami mavjud. Ushbu to'plamning kattaligi kuzatilgan o'zgaruvchining tabiatiga bog'liq. Misol uchun, agar kuzatilgan o'zgaruvchi M mumkin bo'lgan qiymatlar bilan diskret bo'lsa, toifali taqsimot bilan boshqariladi, u holda {\displaystyle M-1}M-1 alohida parametrlar bo'ladi, jami {\displaystyle N(M-1)} Barcha yashirin holatlar bo'yicha N(M-1) emissiya parametrlari. Boshqa tomondan, agar kuzatilgan o'zgaruvchi ixtiyoriy ko'p o'lchovli Gauss taqsimotiga ko'ra taqsimlangan M o'lchamli vektor bo'lsa, vositalarni boshqaruvchi M parametr va {\displaystyle {\frac {M(M+1)}{2} bo'ladi. }}{\frac {M(M+1)}{2}} kovariatsiya matritsasini boshqaruvchi parametrlar, jami {\displaystyle N\left(M+{\frac {M(M+1)}{2}} \right)={\frac {NM(M+3)}{2}}=O(NM^{2})}N\chap(M+{\frac {M(M+1)}{2}}\ o'ng)={\frac {NM(M+3)}{2}}=O(NM^{2}) emissiya parametrlari. (Bunday holatda, agar M qiymati kichik bo'lmasa, kuzatish vektorining alohida elementlari o'rtasidagi kovariatsiyalarning tabiatini cheklash ko'proq amaliy bo'lishi mumkin, masalan, elementlar bir-biridan mustaqil yoki kamroq cheklov bilan, qo'shni elementlarning qat'iy sonidan tashqari barchasidan mustaqildir.)