Nutq qismi (pos) teglari nima?

1/4*3/4*3/4*0*1*2/9*1/9*4/9*4/9=0
Agar bu so'zlar to'g'ri belgilansa, biz quyida ko'rsatilganidek, noldan kattaroq ehtimollikni olamiz

Ushbu atamalarning mahsulotini hisoblab, biz olamiz,
3/4*1/9*3/9*1/4*3/4*1/4*1*4/9*4/9= 0,00025720164
Misol uchun, biz aytib o'tgan uchta POS tegini hisobga olsak, teglarning 81 xil kombinatsiyasini yaratish mumkin. Bunday holda, barcha 81 kombinatsiyaning ehtimolini hisoblash mumkin bo'lgan ko'rinadi. Ammo vazifa kattaroq jumlani belgilash bo'lsa va Penn Treebank loyihasidagi barcha POS teglari e'tiborga olinsa, mumkin bo'lgan kombinatsiyalar soni eksponent ravishda o'sib boradi va bu vazifani bajarish imkonsiz ko'rinadi. Keling, ushbu 81 kombinatsiyani yo'llar sifatida tasavvur qilaylik va quyida ko'rsatilganidek, o'tish va emissiya ehtimolini har bir cho'qqi va chekka belgilang.

Keyingi qadam, ehtimol nolga teng bo'lgan barcha cho'qqilarni va qirralarni yo'q qilishdir, shuningdek, oxirgi nuqtaga olib kelmaydigan cho'qqilar olib tashlanadi. Shuningdek, biz eslatib o'tamiz -

Endi oxirigacha olib boradigan faqat ikkita yo'l bor, keling, har bir yo'l bilan bog'liq bo'lgan ehtimollikni hisoblaylik.
→N→M→N→N→ = 3/4*1/9*3/9*1/4*1/4*2/9*1/9*4/9*4/ 9= 0,00000846754
→N→M→N→V→= 3/4*1/9*3/9*1/4*3/4*1/4*1*4/9*4/9= 0,00025720164
Shubhasiz, ikkinchi ketma-ketlikning ehtimoli ancha yuqori va shuning uchun HMM jumladagi har bir so'zni ushbu ketma-ketlikka ko'ra belgilab qo'yadi.

Viterbi algoritmi bilan HMM ni optimallashtirish 

Viterbi algoritmi - bu Viterbi yo'li deb ataladigan yashirin holatlarning eng ehtimoliy ketma-ketligini topish uchun dinamik dasturlash algoritmi bo'lib , u kuzatilgan hodisalar ketma-ketligini, ayniqsa Markov ma'lumot manbalari va yashirin Markov modellari (HMM) kontekstida olib keladi.
Oldingi bo'limda biz HMM-ni optimallashtirdik va hisob-kitoblarimizni 81 dan atigi ikkitaga tushirdik. Endi biz Viterbi algoritmidan foydalanib, HMM ni yanada optimallashtirishga kirishamiz. Keling, avval ishlatgan misolimizdan foydalanamiz va unga Viterbi algoritmini qo'llaymiz.

Yuqoridagi misolda o'ralgan cho'qqini ko'rib chiqing. Quyida ko'rsatilgandek, bu cho'qqiga olib boradigan ikkita yo'l va ikkita mini-yo'lning ehtimoli bor.


Endi biz haqiqatan ham eng past ehtimolga ega bo'lgan mini yo'l bilan qiziqamiz. Xuddi shu protsedura quyidagi rasmda ko'rsatilganidek, grafikdagi barcha holatlar uchun bajariladi

Yuqoridagi rasmda ko'rib turganimizdek, tugunga olib boradigan barcha yo'llarning ehtimolliklari hisoblab chiqiladi va biz ehtimollik narxi past bo'lgan qirralarni yoki yo'lni olib tashlaymiz. Bundan tashqari, siz nol ehtimoliga ega bo'lgan ba'zi tugunlarni ko'rishingiz mumkin va bunday tugunlarning ularga chekkalari yo'q, chunki barcha yo'llar nol ehtimolga ega. Tugunga olib boradigan barcha yo'llarning ehtimolliklarini hisoblashdan keyin olingan grafik quyida ko'rsatilgan:

Optimal yo'lni olish uchun biz oxiridan boshlaymiz va orqaga qarab harakat qilamiz, chunki har bir shtat faqat bitta kiruvchi chekkaga ega, bu bizga quyida ko'rsatilgandek yo'lni beradi. 

Siz sezgan bo'lsangiz, bu algoritm ikkita yo'lni taklif qilgan oldingi usulga nisbatan faqat bitta yo'lni qaytaradi. Shunday qilib, ushbu algoritmdan foydalanib, biz juda ko'p hisob-kitoblarni saqlab qoldik.
Viterbi algoritmini qo'llaganingizdan so'ng, model jumlani quyidagi tarzda belgilaydi:

• 
  Ism sifatida iroda
  
• 
  Model sifatida mumkin
  
• 
  Fe'l sifatida nuqta
  
• 
  Maryam ot sifatida
  

Bular to'g'ri teglar, shuning uchun biz model so'zlarni tegishli POS teglari bilan muvaffaqiyatli belgilashi mumkin degan xulosaga keldik.