Referat tabiiy tilni qayta ishlash (Natural Language Processing) Tekshirdi: Abjalova M

Alisher Navoiy nomidagi Toshkent davlat o’zbek tili va adabiyoti universiteti

Tarjima nazariyasi va amaliyoti fakulteti

REFERAT

TABIIY TILNI QAYTA ISHLASH
(Natural Language Processing)


Tekshirdi: Abjalova M
Topshirdi: Hamidullayev A

Reja:

1. 
   Kirish
   
2. 
   Tabiiy tilni qayta ishlash (NLP) nima?
   
3. 
   Tabiiy tilni qayta ishlash tarixi va rivojlanishi
   
4. 
   Tabiiy tilni qayta ishlash tarixidagi izlanishlar va tadqiqotlar
   
5. 
   Xulosa
   

KIRISH
Hozirgi vaqtlarda, til bir necha sohalarda suhbat agentlari yoki chatbot deb ataluvchi tarmoqlarning shiddatli rivojlanishi tufayli kata ahamiyat kasb etib bormoqda. Ammo, inson ilmining boshqa sohalarida bo’lgani kabi, tabiiy tilni o’rganish uzoq tarixga borib taqaladi va bu qilinayotgan izlanishlar dastlabki izlanish va tadqiqotlar emas. Biz tilni har kuni turli vaziyatlar va xatti-harakatlarda qo’llaganimiz uchun tilni chuqur tushunishimiz muhim.

TABIIY TILNI QAYTA ISHLASH NIMA?
Natural language processing (NLP) – “Tabiiy tilni qayta ishlash” – bu tabiiy til va nutqni tahlil va sintez qilish uchun hisoblash texnikasini qo’llash sifatida tavsiflanadi. Boshqacha qilib aytganda, inson tili va nutqini tushunish va uni boshqarish uchun informatika (algoritmlar)dan turli xil usullarda foydalanishga aytiladi.
Tabiiy tilni qayta ishlash ishlab chiqaruvchilarga tarjima, umumlashtirish, nomlangan obyektni aniqlash, munosabatlarni ajratish, mavzuni segmentatsiyalash va shunga o’xshash vazifalarni bajarish uchun bilimlarni tashkil qilish va tuzishga yordam beradi.
Tabiiy tilni qayta ishlash – bu ingliz, ispan, hind va shu kabi tillarni tahlil qilish, tushunish va ma’no olish uchun kompyuterlashtirilgan usuldir.
Siz matnni o’qish davomida quyidagilar haqida ma’lumotga ega bo’lasiz:

• 
  Tabiiy tilni qayta ishlashning tarkibiy qismlari
  
• 
  Tabiiy tilni qayta ishlash ilovalari
  
• 
  Tabiiy tilni qayta ishlash uchun kutubxonalar
  
• 
  Tabiiy tilni qayta ishlash va hisoblash tilshunosligi
  
• 
  Tabiiy tilni qayta ishlashning afzalliklari
  
• 
  Tabiiy tilni qayta ishlashning kamchiliklari
  

Eng avvalo aytib o’tish kerakki, tabiiy tilni qayta ishlashning 2ta asosiy tarkibiy qismi mavjud: Bular quyi’dagilardir:

1. 
   Tabiiy tilni tushunish (Natural language understanding)
   
2. 
   Tabiiy til avlodi (Natural language generation)
   

Tabiiy tilni qayta tushunish.

Tabiiy tilni tushunish mashinada o’qishni tushunishning asosiy qismi hisoblanadi. Bu AI-qiyin muammosidir. Tabiiy tilni tushunishni boshqarish uchun quyidagi qismlarga ehtiyoj mavjud:

• 
  Leksika, Parser va Grammatik qoidalar
  
• 
  Semantik nazariya
  

Tabiiy til avlodi
Tabiiy til avlodi tabiiy tilni yaratish bilan shug’ullanadi. U bilimlar bazasi yoki mantiqiy shakl kabi mashina vakillik tizimidan foydalanadi. Siz uni ma’lumotlar va tabiiy til vakillari o’rtasidagi tarjimon deb o’ylashingiz mumkin. Bu esa aksincha yoki tabiiy tilni tushunish hisoblanadi. Bu 3ta vazifani o’z ichiga oladi:

• 
  Matnni rejalashtirish – bilimlar bazasidan tegishli tarkibni olish
  
• 
  Jumlani rejalashtirish – mos keladigan so’zlarni tanlash, mazmunli iboralar yaratish va gap ohangini yaratish
  
• 
  Matnni amalga oshirish – gap rejasini gap tuzilishiga keltirish
  

Tabiiy tilni qayta ishlash ilovalari
Quyida tabiiy tilni qayta ishlashning bir nechta muvaffaqiyatli ilovalari qayd etib o’tilgan:

• 
  Google, Yahoo va shu kabi qidiruv tizimlari. Google qidiruv tizimi sizning texnik odam ekanligingizni tushunadi, shuning uchun u sizga shu bilan bog'liq natijalarni ko'rsatadi.
  
• 
  Ijtimoiy veb-sayt tasmalari sizning Facebook yangiliklar tasmangiz kabi. Yangiliklar tasmasi algoritmi tabiiy tilni ishlash orqali qiziqishlaringizni aniqlaydi va sizga boshqa postlarga qaraganda koʻproq qiziqishlaringizga oid reklama va postlarni koʻrsatadi.
  
• 
  Apple Siri kabi nutq mexanizmlari.
  
• 
  Google spam filtrlari kabi spam filtrlari. Bu sizning odatiy spam filtringiz kabi emas; endi spam filtrlari elektron pochta tarkibidagi narsalarni tushunadi va u spam yoki spam yo'qligini aniqlaydi.
  

Tabiiy tilni qayta ishlash uchun kutubxonalar
Tabiiy tilni qayta ishlash (NLP) bo'yicha ko'plab ochiq manbali kutubxonalar mavjud. Bulardan ba'zilari:

• 
  Tabiiy til jihozlari to'plami (NLTK)
  
• 
  Apache Open NLP
  
• 
  Stenford NLP to'plami
  
• 
  Gate NLP kutubxonasi
  

Tabiiy til jihozlari to'plami (NLTK) - tabiiy tilni qayta ishlash uchun eng mashhur kutubxona hisoblanadi . U Python tilida yozilgan va buing ortida katta jamoa mehnat qilgan. Shuningdek, Tabiiy til jihozlari to’plamini o'rganish ham juda oson, aslida bu siz foydalanadigan eng oson tabiiy tilni qayta ishlash kutubxonasidir.

Tabiiy tilni qayta ishlash va hisoblash tilshunosligi

Tabiiy tilni qayta ishlash bilanchambarchas bog'liq bo'lgan va ba'zi hollarda u bilan chalkashib ketadigan soha mavjud, ya'ni Hisoblash tilshunosligi. Ularning farqi quyidagicha:

• 
  Hisoblash tilshunosligi – bu ko'proq nazariy soha bo’lib, tilshunoslar nuqtai nazaridan ilmiy savollarga javob berish uchun hisoblash usullarini rivojlantiradigan sohadir.
  
• 
  Tabiiy tilni qayta ishlash odamlarga e'tibor qaratib, tabiiy til bilan bog'liq muhandislik muammolarga yechim topishga bag'ishlangan.
  

Ikkala soha ham kompyuter fanlari, tilshunoslik va mashinalarni o'rganishni foydalanadi.

Tabiiy tilni qayta ishlash (NLP) ning afzalliklari quyidagilardan iborat:

• 
  Foydalanuvchilar istalgan mavzu bo'yicha savollar so’rashlari va bir necha soniyada to'g'ridan-to'g'ri javob olishlari mumkin.
  
• 
  Tabiiy tilni qayta ishlash tizimi savollarga tabiiy tilda javob beradi
  
• 
  Tabiiy tilni qayta ishlash tizimi savollarga aniq javob beradi, keraksiz yoki keraksiz ma'lumotlar yo’q
  
• 
  Javoblarning aniqligi savolda ko’zda tutilgan tegishli ma'lumotlarning miqdori bilan ortadi
  
• 
  Tabiiy tilni qayta ishlash jarayoni kompyuterlarga insonlar bilan ularning tilida muloqot qilishda yordam beradi va boshqa til bilan bog'liq vazifalarni hal qiladi
  
• 
  Insonga nisbatan tilga asoslangan koʻproq maʼlumotlarni charchoqsiz, xolis va izchil bajarishga sizga imkon yaratadi.
  
• 
  Yuqori darajada tartiblanmagan ma'lumotlar manbasini tuzish
  

Shu bilan birgalikda tabiiy tilni qayta ishlash (NLP) ning kamchiliklari kamchiliklari ham yo’q emas. Pastda NLPning bir necha kamchiliklari bilan tanishib chiqasiz:

• 
  Murakkab so'rovlar tili - tizim xato tuzilgan yoki noaniq bo'lgan savolga to'g'ri javob bera olmasligi mumkin.
  
• 
  Tizim faqat bitta va aniq vazifa uchun qurilgan; u cheklangan funksiyalar tufayli yangi domenlar va muammolarga moslasha olmaydi.
  
• 
  Tabiiy tilni qayta ishlash tizimida foydalanuvchi interfeysi yo'q, u foydalanuvchilarga tizim bilan yanada yaqin aloqada bo'lishga imkon beradigan xususiyatlardan mahrum