Philological research: language, literature, education filologik tadqiqotlar


Sintaktik tahlil (Parsing) algoritmi


Download 4.11 Mb.
Pdf ko'rish
bet48/133
Sana01.11.2023
Hajmi4.11 Mb.
#1737524
TuriЛитература
1   ...   44   45   46   47   48   49   50   51   ...   133
Bog'liq
Filologik tadqiqotlar 2023 05 (2)

Sintaktik tahlil (Parsing) algoritmi
Yuqorida 2 xil sintaktik parsing turi mavjud ekanli-
gi keltirilgan edi. Bular:
Guruhlarga ajratib tahlil qilish (Constituency parsing)
Tobe bog‘lanishni tahlil qilish (Dependency pars-
ing)
Quyida ushbu 2 xil parsing metodlarining algoritmi 
ko‘rsatilgan:
Guruhlarga ajratib tahlil qilish (CP)
CKY (Cocke-Kasami-Younger) algoritmi
O‘zgarishga asoslangan yondashuv (Transi-
tion-based)
Ketma-ketlikka asoslangan yondashuv (Se-
quence-to-sequence)
Tobe bog‘lanishni tahlil qilish (DP)
O‘zgarishga asoslangan yondashuv (Transi-
tion-based)
Grammatikaga asoslangan yondashuv (Gram-
mar-based)
Grafikaga asoslangan yondashuv (Graph-based)
Kompyuter sohasida Cocke-Younger-Kasami al-
goritmi (muqobil ravishda CYK yoki CKY deb ataladi) 
1961-yilda Itiroo Sakai tomonidan nashr etilgan Con-
text-free grammatikalarni tahlil qilish algoritmidir
1
. Al-
goritm uni qayta kashf etgan insonlar sharafiga nom-
langan: Jon Kokk, Daniel Yanger, Tadao Kasami va 
Jeykob T. Shvarts. U pastdan yuqoriga tahlil qilish va 
dinamik dasturlashdan foydalanadi
2
.
CYK ning standart versiyasi faqat Chomskiy nor-
mal shaklida (CNF) berilgan Context-free gramma-
tikalarda ishlaydi. Biroq har qanday Context-free 
grammatika algoritmik ravishda bir xil tilni ifodalovchi 
CNF grammatikasiga aylantirilishi mumkin
3
.

Sakai, Itiroo. Syntax in universal translation. – Teddington, 
England: International Conference on Machine Translation of 
Languages and Applied Language Analysis, 1961. – P. 593–
608.

https://en.wikipedia.org/wiki/CYK_algorithm#cite_note-1

Sipser, Michael. Introduction to the Theory of Computa-
tion (1st ed.). – 1997. – p. 99.


40
Тилшунослик • Языкознание • Linguistics
Context-free Chomskiy grammatikasi (CFG) ta-
biiy tillarda tarkibiy tuzilmalarni modellashtirish uchun 
eng keng tarqalgan formal tizimdir. CFG bir qator qoi-
dalardan iborat bo‘lib, ularning har biri til belgilarini 
guruhlash, tartibga solish usullarini, so‘zlar va belgi-
lar leksikasini ifodalaydi. CFG da G to‘rtta parametr 
bilan aniqlanadi: 
𝐺 = <𝑁𝑠, 𝑆, 𝑇𝑠, 𝑅>, 
bu yerda 𝑁𝑠 – terminal bo‘lmagan belgilar to‘plami; 
𝑆 ∈ 𝑁 – boshlang‘ich terminal bo‘lmagan belgi; 
𝑇𝑠 – terminal belgilar toʻplami; 𝑅 – 𝐴 → 𝛼 shaklidagi 
qoidalar to‘plami, 𝐴 ∈ 𝑁 – terminal boʻlmagan belgi, 𝛼
∈ (𝑁𝑠 ∪ 𝑇𝑠,) * – cheksiz (𝑁𝑠 ∪ 𝑇𝑠,)* stringlar to‘plamin-
ing belgilar ketma-ketligi
1
.
CFG – bu tilni sintaksis tuzilmalarining barcha 
mumkin bo‘lgan kombinatsiyalarini yaratadigan ish-
lab chiqarish qoidalari to‘plami sifatida tavsiflovchi 
formal grammatikaning bir turi. Keyinchalik bu tuzil-
malar gaplarni va ular bilan bog‘liq ma’nolarni model-
lashtirish uchun ishlatilishi mumkin.
Tabiiy tilni qayta ishlashda CFG gap tuzilmalari-
ni aniq tahlil qila oladigan va tushuna oladigan tah-
lilchilarni (Parser) yaratish uchun ishlatiladi. Bir qator 
so‘z tartibi qoidalarini belgilab, CFG gapda mavjud 
bo‘lgan nutqning turli qismlarini, iboralarni va gaplarni 
aniqlashga yordam beradi.
Masalan, “S -> NP VP” CFG qoidasini “gap – (S) 
otli birikmadan – (NP) keyin fe’lli birikmadan – (VP) 
iborat” deb talqin qilish mumkin. Umuman olganda, 
CFG grammatikasi gaplarni modellashtirish va tabiiy 
tilni qayta ishlash uchun muhim vositadir, chunki u 
tabiiy tilning murakkab tuzilmalarini tavsiflash va tus-
hunish uchun asos yaratishi mumkin.
Eshref Adali va Ilknur Do‘nmezning tadqiqot ish-
larida turk tilini ifodalovchi eng maqbul formal gram-
matika tili tekshiriladi. Ikki xil korpusda ishlab chiqil-
gan grammatika qoidalarining to‘g‘riligi baholanadi. 
Ushbu tadqiqot UBMK (Uluslararası Bilgisayar Bilim-
leri ve Mühendisleri Konferansı) 2016 Informatika va 
muhandislik xalqaro konferensiyasida taqdim etilgan 
“Turk tilidagi Context-free grammatika qoidalari”ning 
takomillashtirilgan versiyasidir
2
.
Altynbek Sharipbay, Banu Yergesh, Bibigul Razak-
hova, Gaziza Yelibaye va Assel Mukanovalar tomoni-
dan taqdim etilgan “Qozoq tili sodda gaplari uchun 
sintaktik parsing modellari” nomli maqolada qozoq 
sodda gaplarining semantikasini hisobga olgan holda 
sintaktik tahlil qilishni taklif qilinadi. Buning uchun, bir-
inchi navbatda, gaplarning sintaktik qoidalari rasmiy 
grammatika yordamida tavsiflanadi, so‘ngra ularning 
tarkibiy qismlarining semantikasini va ular orasidagi 
munosabatlarni aniqlash uchun tahlil qilish daraxtlari 
va ontologik modellar quriladi. Formal grammatika si-
fatida Chomskiyning Context-free grammatikasidan 
foydalanilgan va ontologik modellar qurilgan
3
.
Ushbu tadqiqot ishida o‘zbek tilidagi sodda gaplar 
uchun sintaktik parsing modelini yaratish uchun bir-
inchi navbat, barcha sodda gaplar kombinatsiyalari 
uchun modellar ishlab chiqiladi. So‘ngra, ishlab 
chiqilgan sodda gap modellariga asoslangan holda 
Context-free grammatikasidan foydalaniladi va sod-
da gaplar uchun kompyuter dasturlari tushunadigan 
formal grammatika qoidalari tuziladi.

Download 4.11 Mb.

Do'stlaringiz bilan baham:
1   ...   44   45   46   47   48   49   50   51   ...   133




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©fayllar.org 2024
ma'muriyatiga murojaat qiling