Nutq qismi (pos) teglari nima?

Transformatsiyaga asoslangan teglash: Transformatsiyaga asoslangan yondashuvlar oldindan belgilangan qo'lda ishlangan qoidalar to'plamidan, shuningdek, mashg'ulot davomida yaratilgan avtomatik ravishda induktsiya qilingan qoidalardan foydalanadi.

Chuqur o'rganish modellari :

POS belgilarini belgilash uchun turli xil chuqur o'rganish modellari ishlatilgan, masalan, Meta-BiLSTM, ular taxminan 97 foizlik ta'sirchan aniqlikni ko'rsatdi.

Stokastik (ehtimoliy) teglash :

Stokastik yondashuv chastota, ehtimollik yoki statistikani o'z ichiga oladi. Eng oddiy stokastik yondashuv izohli o'quv ma'lumotlaridagi ma'lum bir so'z uchun eng tez-tez ishlatiladigan tegni topadi va bu ma'lumotdan izohsiz matnda ushbu so'zni belgilash uchun foydalanadi. Ammo ba'zida bu yondashuv tilning grammatik qoidalariga ko'ra qabul qilinishi mumkin bo'lmagan jumlalar uchun teglar ketma-ketligini keltirib chiqaradi. Bunday yondashuvlardan biri jumla uchun mumkin bo'lgan turli teglar ketma-ketliklarining ehtimolini hisoblash va POS teglarini eng yuqori ehtimollik bilan ketma-ketlikdan belgilashdir. Yashirin Markov modellari (HMMs) POS yorlig'ini tayinlash uchun ehtimoliy yondashuvlardir.

Yashirin Markov modeli bilan POS teglari

HMM (Yashirin Markov modeli) - bu POS teglarini qo'yish uchun stoxastik texnika. Yashirin Markov modellari nutq, qo'l yozuvi, imo-ishoralarni aniqlash, musiqa tinglash, qisman zaryadsizlanish va bioinformatika kabi o'rganishni kuchaytirish va vaqtinchalik naqshni aniqlashda qo'llanilishi bilan mashhur.
Keling, doktor Luis Serrano tomonidan taklif qilingan misolni ko'rib chiqamiz va HMM jumla uchun mos teglar ketma-ketligini qanday tanlashini bilib olaylik.

Ushbu misolda biz faqat ot, model va fe'l bo'lgan 3 ta POS tegini ko'rib chiqamiz. “ Ted Will spot ” jumlasi ot, model, fe’l va ot sifatida belgilansin va ushbu teglar ketma-ketligi bilan bog‘liq bo‘lgan ehtimollikni hisoblash uchun biz ularning O‘tish ehtimoli va Emissiya ehtimolini talab qilamiz.
O'tish ehtimoli - bu ma'lum bir ketma-ketlikning ehtimoli, masalan, otdan keyin model va modeldan keyin fe'l va fe'l bilan ot kelishi ehtimoli qanchalik katta. Bu ehtimollik o'tish ehtimoli deb nomlanadi. Muayyan ketma-ketlikning to'g'ri bo'lishi uchun u yuqori bo'lishi kerak.
Endi Ted so'zining ot, irodaning model, spotning fe'l va Will so'zining ot bo'lish ehtimoli qanday? Ushbu ehtimollar to'plami emissiya ehtimoli bo'lib, bizning belgilashimiz ehtimoli yuqori bo'lishi kerak.
Keling, quyidagi jumlalar to'plami uchun yuqoridagi ikkita ehtimolni hisoblaylik

• 
  Meri Jeyn Uillni ko'ra oladi
  
• 
  Spot Maryamni ko'radi
  
• 
  Jeyn Maryamni ko'radimi?
  
• 
  Meri Spotni silaydi
  

E'tibor bering, Meri Jeyn, Spot va Uill ismlari.


Yuqoridagi jumlalarda Mary so'zi ot sifatida to'rt marta uchraydi. Emissiya ehtimolini hisoblash uchun shunga o'xshash tarzda hisoblash jadvalini tuzamiz.

Words	Noun	Model	Verb
Mary	4	0	0
Jane	2	0	0
Will	1	3	0
Spot	2	0	1
Can	0	1	0
See	0	0	2
pat	0	0	1

Keling, har bir ustunni ularning umumiy ko'rinishlari soniga ajratamiz, masalan, "ism" yuqoridagi jumlalarda to'qqiz marta uchraydi, shuning uchun har bir atamani ot ustunida 9 ga bo'ling. Ushbu operatsiyadan keyin biz quyidagi jadvalni olamiz. 

Words	Noun	Model	Verb
Mary	4/9	0	0
Jane	2/9	0	0
Will	1/9	3/4	0
Spot	2/9	0	1/4
Can	0	1/4	0
See	0	0	2/4
pat	0	0	1

Yuqoridagi jadvaldan biz shunday xulosa chiqaramiz
Maryamning ism bo'lish ehtimoli = 4/9
Maryamning Model bo'lish ehtimoli = 0
Will ning Ism = 1/9 bo'lish ehtimoli
Willning Model bo'lish ehtimoli = 3/4
Shunga o'xshab, qolgan ehtimolliklarni ham aniqlab olishingiz mumkin. Bu emissiya ehtimoli.
Keyinchalik, biz o'tish ehtimolini hisoblashimiz kerak, shuning uchun yana ikkita tegni aniqlang va . Quyidagi rasmda ko'rsatilganidek, har bir jumlaning boshida va oxirida joylashgan.

	N	M	V
	3	1	0	0
N	1	3	1	4
M	1	0	3	0
V	4	0	0	0

Yuqoridagi rasmda biz tegidan keyin uch marta N teg kelishini ko'rishimiz mumkin, shuning uchun birinchi yozuv 3. Model tegi dan faqat bir marta, shuning uchun ikkinchi yozuv 1 ga teng. shunga o'xshash tarzda, jadvalning qolgan qismi to'ldiriladi.
Keyinchalik, jadval qatoridagi har bir atamani ko'rib chiqilayotgan tegning umumiy soniga ajratamiz, masalan, Model tegidan keyin quyida ko'rsatilgandek to'rt marta boshqa teg keladi, shuning uchun biz har bir elementni quyidagiga ajratamiz. uchinchi qator - to'rt.

	N	M	V
	3/4	1/4	0	0
N	1/9	3/9	1/9	4/9
M	1/4	0	3/4	0
V	4/4	0	0	0

Bu yuqoridagi to'rtta jumla uchun tegishli o'tish ehtimoli. Endi HMM yuqoridagi jadvallardan ma'lum bir jumla uchun teglarning tegishli ketma-ketligini qanday aniqlaydi? Keling, buni bilib olaylik.
Yangi jumla oling va ularni noto'g'ri teglar bilan belgilang. "Uill Maryamni aniqlay oladi" jumlasi quyidagicha belgilansin:

• 
  Model sifatida iroda
  
• 
  Fe'l sifatida mumkin
  
• 
  Ism sifatida nuqta
  
• 
  Maryam ot sifatida
  

Endi ushbu ketma-ketlikning to'g'ri bo'lish ehtimolini quyidagi tarzda hisoblang.

Model (M) tegining ehtimoli jadvalda ko'rsatilganidek, tegidan keyin ¼ bo'ladi. Shuningdek, Will so'zining Model bo'lish ehtimoli 3/4 ga teng. Xuddi shu tarzda, biz grafikdagi har bir ehtimollikni hisoblaymiz. Endi bu ehtimollarning mahsuloti bu ketma-ketlikning to'g'ri bo'lish ehtimoli. Teglar to'g'ri bo'lmagani uchun mahsulot nolga teng.