Muhammad al-xorazmiy nomidagi tatu urganch filiali

II BOB. MATNLARNI SINFLARGA AJRATISH VA TEGLASH MODELLARI VA ALGORITMLARI.


II.1-§. Tabiiy tillar jarayonini qayta ishlash vositalari(NLTK)

Tabbiy tillar deganda biz insonlar tomonidan har kuni ishlatiladigan, muloqot qilinadigan tillarni tushunamiz. Masalan: O‘zbek, Ingliz, Xitoy, Turk, Rus va boshqalar. Tabiiy tillar jarayoni (NLP-Natural Language Processing) kompyuterlar yordamida tabiiy tillarni qayta ishlash bilan shug‘ullanadi.

Python dasturlash tilida ochiq kodli NLTK ( Natural Language Processing ) kutubxonasi mavjud bo‘lib, bu kutubxonada tabiiy tillarni qayta ishlovchi vositalar jamlangan.
Bu kutubxonani http://www.nltk.org saytidan bepul yuklab olish mumkin.
Hozirgi kunda tabiiy tillar jarayoni bilan ishlash ilmiy, iqtisodiy va madaniy sohalarda muhim hisoblanadi. Shu sababli bu soha jadallik bilan rivojlanmoqda chunki uning usullari turli xil yangi til texnalogiyalarida qo‘llanilmoqda. Shu uchun NLPni oʻrganishimiz kerak chunki u ko‘p tarmoqlidir.
NLP-sanoat sohasi, biznes ma’lumotlarni tahlil qilish, web dasturlarni ishlab chiqish, korpus tilshunosligi, informatika va suniyintilekt orqali hisoblash kabi sohalarni ham qamrab olgan.
NLP da quydagi yo‘nalishlar mavjud:

1. 
   Til tahlili yo‘nalishi:
   

-Katta korporani boshqarish, lingvistikani o‘rganish, modellar va bogʻliqlik xususiyatlarni sinab ko‘rish;
-Ma’lumotlarni modellashtirishda, ma’lumotlarni qidirishda va tabiiy tilni tahlil qilish uchun bilimlarni aniqlash.
2.Til texnalogiyasi:
-Korpuslarni qayta ishlash tizimlarini texnalogik dasturlar bilan ijro etish;
-Lingvistik algoritmlardan, tilni qayta ishlatuvchi dasturlardan va ma’lumotlar tuzilmasidan foydalanish.
Tabiiy tillarni dasturlash vositalari(NLTK)
NLTK dastlab 2001-yilda Pensilvaniya universitetida kompyuter va axborot tilshunosligi fanlari bo‘limi kursining bir qismi sifatida yaratilgan va bunga o‘z hissalarini qo‘shgan o‘nlab mutaxassislar yordamida ishlab chiqilgan. Hozir u chet elda ko‘plab universitetlarda ilmiy loyihalarning asosi bo‘lib xizmat qiladi.
Eng muhim NLTK modullarining ro‘yhati keltirilgan.
1-jadval. Tillarni qayta ishlash vazifalari, NLTK modullari va funksionallik.