"kompyuter lingvistikasi: muammolar, yechim, istiqbollar"

Alisher Navoiy nomidagi Toshkent 
davlat o‘zbek tili va adabiyoti 
universiteti 
“KOMPYUTER LINGVISTIKASI: 
MUAMMOLAR, YECHIM, ISTIQBOLLAR”
Xalqaro ilmiy-amaliy konferensiya  
Vol. 1
№. 01 (2022) 
http://compling.navoiy-uni.uz/
 
271 
bo‘lmish kompyuter lingvistikasi yuzaga keldi. Kompyuter lingvistikasi kursining 
universitetlarda o‘quv jarayoniga joriy qilinishi bugungi globallashuv, 
optimallashuv va standartlashuv davrida tilning ijtimoiy ahamiyatiga e’tibor 
oshganligidan dalolat. Kompyuter lingvistikasida matnlarni tahrirlovchi, tahlil 
qiluvchi va tartiblovchi dasturlar, nutqiy sintezator, mashina tarjimasi, matnlarni 
referatlash, matn korpusi, matnlarni lingvostatistik tahlil qiluvchi kabi 
yo‘nalishlardagi tadqiqotlar tilshunoslikda katta hajmli lingvistik bazalarning 
yaratilishiga omil bo‘lib xizmat qiladi. Bugun o‘zbek tilidagi matnlarni tahrir qilish 
inson mehnati bilan amalga oshirilmoqda. Bu esa o‘z navbatida matnlarni 
tahrirlashga ko‘p vaqt sarflanishi, iqtisodiy xarajatlarning oshishi, inson tomonidan 
yo‘l qo‘yiladigan xatoliklarga sabab bo‘lmoqda. Shu bois leksik birliklarni 
tartiblovchi dasturning lingvistik ta’minotini yaratish muhim ilmiy-amaliy ahamiyat 
kasb etadi. 
Asosiy qism. Matnlarga ishlov berishning avtomatik tahrir yo‘nalishi XX 
asrning 60-70-yillarida shakllandi. U matn muharriri dasturlari bilan birga yangicha 
imkoniyatlar asosida rivojlanmoqda. Oddiy muharrirlardan farqi shundaki, unda 
avtomatik tarzda qisqa vaqt ichida katta hajmli matnlarni tez tekshirib, xatolarni 
samarali to‘g‘rilash imkoniyati mavjud. Avtomatik tahrirning pragmatik ahamiyati 
shundaki, u kelajakda taraqqiy etsa, yetarli ma’lumotlar bazasi yaratilsa va maxsus 
dasturlar ishlab chiqilsa, muharrir kasbi uchun ehtiyoj qolmaydi. Bu esa matn bilan 
ishlashni osonlashtiradi. 
Tokenizator nima? NLP sohasiga kirishdan oldin biz ushbu asosiy atamalarni 
bilib olishimiz kerak: 
Korpus - shunchaki lingvistik ma’lumotlarning ma’lum bir to‘plamidir. 
Korpora odatda matnni tasniflash yoki tahlil qilishning turli modellarini o‘rganish 
uchun ishlatiladi. 

---