Philological research: language, literature, education filologik tadqiqotlar
Sintaktik tahlil (Parsing) algoritmi
Download 4.11 Mb. Pdf ko'rish
|
Filologik tadqiqotlar 2023 05 (2)
Sintaktik tahlil (Parsing) algoritmi
Yuqorida 2 xil sintaktik parsing turi mavjud ekanli- gi keltirilgan edi. Bular: Guruhlarga ajratib tahlil qilish (Constituency parsing) Tobe bog‘lanishni tahlil qilish (Dependency pars- ing) Quyida ushbu 2 xil parsing metodlarining algoritmi ko‘rsatilgan: Guruhlarga ajratib tahlil qilish (CP) CKY (Cocke-Kasami-Younger) algoritmi O‘zgarishga asoslangan yondashuv (Transi- tion-based) Ketma-ketlikka asoslangan yondashuv (Se- quence-to-sequence) Tobe bog‘lanishni tahlil qilish (DP) O‘zgarishga asoslangan yondashuv (Transi- tion-based) Grammatikaga asoslangan yondashuv (Gram- mar-based) Grafikaga asoslangan yondashuv (Graph-based) Kompyuter sohasida Cocke-Younger-Kasami al- goritmi (muqobil ravishda CYK yoki CKY deb ataladi) 1961-yilda Itiroo Sakai tomonidan nashr etilgan Con- text-free grammatikalarni tahlil qilish algoritmidir 1 . Al- goritm uni qayta kashf etgan insonlar sharafiga nom- langan: Jon Kokk, Daniel Yanger, Tadao Kasami va Jeykob T. Shvarts. U pastdan yuqoriga tahlil qilish va dinamik dasturlashdan foydalanadi 2 . CYK ning standart versiyasi faqat Chomskiy nor- mal shaklida (CNF) berilgan Context-free gramma- tikalarda ishlaydi. Biroq har qanday Context-free grammatika algoritmik ravishda bir xil tilni ifodalovchi CNF grammatikasiga aylantirilishi mumkin 3 . 1 Sakai, Itiroo. Syntax in universal translation. – Teddington, England: International Conference on Machine Translation of Languages and Applied Language Analysis, 1961. – P. 593– 608. 2 https://en.wikipedia.org/wiki/CYK_algorithm#cite_note-1 3 Sipser, Michael. Introduction to the Theory of Computa- tion (1st ed.). – 1997. – p. 99. 40 Тилшунослик • Языкознание • Linguistics Context-free Chomskiy grammatikasi (CFG) ta- biiy tillarda tarkibiy tuzilmalarni modellashtirish uchun eng keng tarqalgan formal tizimdir. CFG bir qator qoi- dalardan iborat bo‘lib, ularning har biri til belgilarini guruhlash, tartibga solish usullarini, so‘zlar va belgi- lar leksikasini ifodalaydi. CFG da G to‘rtta parametr bilan aniqlanadi: 𝐺 = <𝑁𝑠, 𝑆, 𝑇𝑠, 𝑅>, bu yerda 𝑁𝑠 – terminal bo‘lmagan belgilar to‘plami; 𝑆 ∈ 𝑁 – boshlang‘ich terminal bo‘lmagan belgi; 𝑇𝑠 – terminal belgilar toʻplami; 𝑅 – 𝐴 → 𝛼 shaklidagi qoidalar to‘plami, 𝐴 ∈ 𝑁 – terminal boʻlmagan belgi, 𝛼 ∈ (𝑁𝑠 ∪ 𝑇𝑠,) * – cheksiz (𝑁𝑠 ∪ 𝑇𝑠,)* stringlar to‘plamin- ing belgilar ketma-ketligi 1 . CFG – bu tilni sintaksis tuzilmalarining barcha mumkin bo‘lgan kombinatsiyalarini yaratadigan ish- lab chiqarish qoidalari to‘plami sifatida tavsiflovchi formal grammatikaning bir turi. Keyinchalik bu tuzil- malar gaplarni va ular bilan bog‘liq ma’nolarni model- lashtirish uchun ishlatilishi mumkin. Tabiiy tilni qayta ishlashda CFG gap tuzilmalari- ni aniq tahlil qila oladigan va tushuna oladigan tah- lilchilarni (Parser) yaratish uchun ishlatiladi. Bir qator so‘z tartibi qoidalarini belgilab, CFG gapda mavjud bo‘lgan nutqning turli qismlarini, iboralarni va gaplarni aniqlashga yordam beradi. Masalan, “S -> NP VP” CFG qoidasini “gap – (S) otli birikmadan – (NP) keyin fe’lli birikmadan – (VP) iborat” deb talqin qilish mumkin. Umuman olganda, CFG grammatikasi gaplarni modellashtirish va tabiiy tilni qayta ishlash uchun muhim vositadir, chunki u tabiiy tilning murakkab tuzilmalarini tavsiflash va tus- hunish uchun asos yaratishi mumkin. Eshref Adali va Ilknur Do‘nmezning tadqiqot ish- larida turk tilini ifodalovchi eng maqbul formal gram- matika tili tekshiriladi. Ikki xil korpusda ishlab chiqil- gan grammatika qoidalarining to‘g‘riligi baholanadi. Ushbu tadqiqot UBMK (Uluslararası Bilgisayar Bilim- leri ve Mühendisleri Konferansı) 2016 Informatika va muhandislik xalqaro konferensiyasida taqdim etilgan “Turk tilidagi Context-free grammatika qoidalari”ning takomillashtirilgan versiyasidir 2 . Altynbek Sharipbay, Banu Yergesh, Bibigul Razak- hova, Gaziza Yelibaye va Assel Mukanovalar tomoni- dan taqdim etilgan “Qozoq tili sodda gaplari uchun sintaktik parsing modellari” nomli maqolada qozoq sodda gaplarining semantikasini hisobga olgan holda sintaktik tahlil qilishni taklif qilinadi. Buning uchun, bir- inchi navbatda, gaplarning sintaktik qoidalari rasmiy grammatika yordamida tavsiflanadi, so‘ngra ularning tarkibiy qismlarining semantikasini va ular orasidagi munosabatlarni aniqlash uchun tahlil qilish daraxtlari va ontologik modellar quriladi. Formal grammatika si- fatida Chomskiyning Context-free grammatikasidan foydalanilgan va ontologik modellar qurilgan 3 . Ushbu tadqiqot ishida o‘zbek tilidagi sodda gaplar uchun sintaktik parsing modelini yaratish uchun bir- inchi navbat, barcha sodda gaplar kombinatsiyalari uchun modellar ishlab chiqiladi. So‘ngra, ishlab chiqilgan sodda gap modellariga asoslangan holda Context-free grammatikasidan foydalaniladi va sod- da gaplar uchun kompyuter dasturlari tushunadigan formal grammatika qoidalari tuziladi. Download 4.11 Mb. Do'stlaringiz bilan baham: |
Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©fayllar.org 2024
ma'muriyatiga murojaat qiling
ma'muriyatiga murojaat qiling