Muhammad al-xorazmiy nomidagi tatu urganch filiali

Ilmiy rahbar: t.f.n. Sharipov M.S

MUNDARIJA
Kirish……………………………………………………………….………….………3


I BOB. TEGLANGAN KORPUS YARATISH USULLARINI O‘RGANISH.
I.1-§. Korpuslar haqida………………………………………………………………….
I.2-§. Teglangan korpuslar yaratishga mo’ljallangan dastular ……………………….
I.3-§. O‘zbek tili teglangan korpusini tuzish uchun dastur yaratishning dolzarbligi….
I bob bo‘yicha xulosa…………………………………………………………………18
II BOB. MATNLARNI SINFLARGA AJRATISH VA TEGLASH MODELLARI VA ALGORITMLARI.
II.1-§. Matnlarni sinflarga ajratish……………………………………………………20
II.2-§. Teglangan matnlar yordamida modellar qurish .…………………………..…27
II.3-§. O‘zbek tili matnlarini teglash uchun yashirin Markov modelini qurish ……...29
II bob bo‘yicha xulosa……………………………………………………………..…37
III BOB. MATNLARNI TEGLASH UCHUN ALGORITM VA DASTURIY TA’MINOT ISHLAB CHIQISH.
III.1-§.Teglash dasturi uchun ma’lumotlar bazasini loyihalash va yaratish…...…......39
III.2-§.Dasturiy vositadan foydalanish…………………………..………..………….41
III.3-§.Natijalarni taxlil qilish……………………....………………………………...45
III bob bo‘yicha xulosa…………………………………………………………….…52
XULOSA……………………………………………………………………..………53
FOYDALANILGAN ADABIYOTLAR……………………………………………55


KIRISH
Mavzuning dolzarbligi.


Tadqiqotning maqsadi. O‘zbek tili uchun Stemming algoritmini yaratishda so‘z asosiga qo‘shimchalarning qo‘shilish ketma-ketligi va qoidalarini o‘rganib chiqish. O‘zbek tili mustaqil so‘z turkumlari uchun FSM(Finite State Machine)-chekli avtomatlar mashinasi yaratish. Qoidaga asoslangan(Rule Based) chekli avtomatlar asosida dasturiy ta’minot yaratish. Qoidaga bo‘ysunmaydigan so‘z va qo‘shimchalar uchun lug‘at yaratish.
Tadqiqotning vazifasi. Boshqa tillar shuningdek o‘zbek tili uchun hozirgacha yaratilgan Stemming algoritmlari va modellarini o‘rganib chiqish va shu asosda UzbekStemmer algoritmini yaratish.
Hozirgcha yaratilgan boshqa tillarning korpuslarini o‘rganib chiqish, korpus yaratish uskunalarini o‘rganish, korpus yaratish uchun XML tilida ma’lumotlar tuzilmasini yaratish, korpus uchun matnlarni yig‘ish, yig‘ilgan matnlarni qayta ishlash uchun algoritm va dastur yaratsih. Korpus bo‘yicha so‘zlar lug‘atini(bag of words) yaratish.