Alisher Navoiy nomidagi Toshkent
davlat o‘zbek tili va adabiyoti
universiteti
“KOMPYUTER LINGVISTIKASI:
MUAMMOLAR, YECHIM, ISTIQBOLLAR”
Xalqaro ilmiy-amaliy konferensiya
Vol. 1
№. 01 (2022)
http://compling.navoiy-uni.uz/
270
O‘ZBEKCHA MATLARDAGI LEKSIK BIRLIKLARNI TARTIBLOVCHI
TOKENIZATOR YARATISH
Rashidov Husniddin Axror o‘g‘li,
husniddinrashidov97@gmail.com
Alisher Navoiy nomidagi
Toshkent davlat o‘zbek tili va adabiyoti universiteti
Kompyuter
lingvistikasi
mutaxassisligi 1-kurs magistranti
+998970042121
Annotatsiya. Ushbu maqolada tokenizator nima ekanligi to‘g‘risida
tushunchalar va tokenizator qanday yartatilishi haqida so‘z yuritiladi. Matnlarni
tartibga keltiruvchi dastur biz uchun qanchalik lozimligi va uning ishlash jarayoni
to‘g‘risida ham fikrlar aytib o‘tiladi.
Abstact. In
this article, interprets what is a tokenizer and how to create a
tokenizer. Also, the ideas are given here as for we need to a text editing program so
that.
Kalit so‘zlar: tokenizator, leksik birlik, tizim, dastur, dasturiy ta’minot
Keywords: tokenizer, leksik birlik, system, program, software
Kirish. Jahon tilshunosligida XX asrning 50-yillaridan
til va matn
muammolari bilan bog‘liq masalalarni kompyuter texnologiyalari yordamida hal
qilish tadqiqi bilan nafaqat tilshunoslar, balki boshqa soha olimlari ham shug‘ullanib
kelmoqda. Shunday bo‘lsada, mazkur masalalar
har qanday matnni lisoniy
o‘rganishning yangi-yangi imkoniyatlari til materialini axborot texnologiyalari
dasturlari orqali tanlash va uni qayta ishlash
jarayonini muayyan darajada
tezlashtirish, katta hajmdagi matnlarni lingvistik tahlil qiluvchi texnologiyalar
hamda axborotni qayta ishlovchi dasturlar va ularning lingvistik ta’minotlarining
ishlab chiqilishiga zamin yaratmoqda. O‘zbek tilshunosligi
sohasida XXI asrning
boshlarida kompyuterdan foydalanish natijasida yangi, zamonaviy yo‘nalish
