Referat tabiiy tilni qayta ishlash (Natural Language Processing) Tekshirdi: Abjalova M

TABIIY TILNI QAYTA ISHLASH TARIXIDAGI IZLANISHLAR VA TADQIQOTLAR
Tabiiy tilni qayta ishlash tarixi tabiiy tilni qayta ishlashning yutuqlarini ko’rsatib beradi (Tabiiy tilni qayta ishlashning konspekti). Mashina tarjimasi tarixi, nutqni aniqlash tarixi va sun'iy intellekt tarixi ba’zi o'xshashliklar mavjud.
Mashina tarjimasi tarixi XVII asrga borib taqaladi, o‘sha davrda Leybnis va Dekart kabi faylasuflar tillar o‘rtasida so‘zlarni bog‘laydigan kodlar taklifini ilgari surganlar. Ushbu takliflarning barchasi nazariy bo'ldi holos va bu takliflarning hech biri haqiqiy mashinaning rivojlanishiga olib kelmadi.
"Tarjima mashinalari" uchun birinchi patentlarga 1930-yillarning o'rtalarida arizalar kela boshlagan. Jorj Artsruni takliflaridan birida qog’ozli lenta yordamida ikki tilli avtomatik lug'at yaratish edi. Rus olimi Pyotr Troyanskiy tomonidan kiritilgan boshqa taklif esa batafsilroq edi. U ikki tilli lug’atni va Esperanto tiliga mansub bo’lgan tillar o'rtasidagi grammatik rollarni hal qilishni o'z ichiga oladi.
1950 yilda Alan Tyuring o'zining mashhur "Hisoblash mashinalari va aql” deb nomlangan maqolasini nashr ettirdi, unda hozirda Tyuring testi deb ataladigan narsani aql mezoni sifatida taklif qildi. Ushbu mezon kompyuter dasturining sudya bilan real vaqt rejimida yozma suhbatda odamga taqlid qilish qobiliyatiga bog'liq, shuning uchun sudya faqat suhbat mazmunidan kelib chiqib, dastur va sudya o'rtasidagi ishonchli farqni aniqlay olmaydi.
1957-yilda Noam Xomskiyning "Sintaktik tuzilmalar" asari tilshunoslikda “universal grammatika", qoidaga asoslangan sintaktik tuzilmalar tizimi bilan inqilob qildi.
1954-yilda Jorjtaun tajribasi rus tilidagi oltmishdan ortiq gaplarni ingliz tiliga to'liq avtomatik tarjima qilishni uddaladi. Mualliflarning ta'kidlashicha, uch yoki besh yil ichida mashina tarjimasi muammosi hal bo'ladi. Biroq, haqiqiy taraqqiyot ancha sekinroq bo'ldi va 1966-yildagi ALPAC hisobotidan so'ng, o'n yillik tadqiqotlar kutilgan natijalarni bermadi, mashina tarjimasi uchun mablag' keskin kamaydi. 1980-yillarning oxirigacha, birinchi statistic mashina tarjimasi tizimlari ishlab chiqilgunga qadar, mashina tarjimasi bo'yicha juda kam tadqiqotlar amalga oshirildi.
1960-yillarda ba'zi muvaffaqiyatli tabiiy tilni qayta ishlash tizimlari, cheklangan lug’atlar bilan cheklangan “bloklar dunyosi" ishlaydigan SHRDLU tabiiy til tizimlari edi.
1969-yilda Rjer Schank tabiiy tilni tushunish uchun konseptual qaramlik nazariyasini taqdim etdi.Qisman Sidney Lamb ishidan ta'sirlangan ushbu modeldan Schankning talabalari Robert Wilensky, Wendy Lehnert va Janet Kolodner tomidan Yel universitetida keng foydalanilgan.
1970-yilda Uilyam Vuds tabiiy til kiritishini ifodalash uchun kengaytirilgan o’tish tarmog’ini taqdim etdi. 1970-yillarda ko’plab dasturchilar real dunyo ma’lumotlarini kompyuter tushunadigan ma’lumotlarga aylantirib beradigan “konseptual ontologiyalar”ni yozishni boshladi. Masalan: MARGIE (Schank, 1975), SAM (Kullingford, 1978), PAM (wilenskiy, 1978), TaleSpin (Mehan, 1976), QUALM (Lehnert, 1977), Politics (karnobell, 1979) – shular jumlasidandir. Va shu vaqt davomida PARRY, Racter va Jabberwacky kabi suhbat botlari ham yozildi.
1980-yillarga qadar tabiiy tilni qayta ishlash tizimlarining aksariyati qo'lda yozilgan murakkab qoidalar to'plamiga asoslangan edi. Biroq, 1980-yillarning oxiridan boshlab, tabiiy tilni qayta ishlashda tilni qayta ishlash uchun mashinani o'rganish algoritmlarini joriy etish bilan inqilob yuz berdi. Bunga Mur qonuni natijasida kelib chiqadigan hisoblash quvvatining barqaror o'sib borishi va nazariy asoslari mashinani o'rganish yondashuvining asosini tashkil etuvchi korpus lingvistikasi turini rad etgan Xomskiyning tilshunoslik nazariyalari (masalan, transformatsion grammatika) hukmronligining asta-sekin kamayishi bilan bog'liq edi. Mashinani o'rganishning eng qadimgi algoritmlaridan ba'zilari, masalan, qaror daraxtlari, mavjud qo'lda yozilgan qoidalarga o'xshash qattiq o’zgarmas qoidalari ishlab chiqarilgan. Biroq, tadqiqotlar statistik modellarga yanada ko’proq e'tibor qaratmoqda, ular kirish ma'lumotlarini tashkil etuvchi xususiyatlarga haqiqiy qiymatlarni qo'shishga asoslangan yengil, ehtimoliy qarorlar qabul qiladi. Ko'pgina nutqni aniqlash tizimlari tayanadigan kesh tili modellari bunday statistik modellarga misol bo'la oladi. Bunday modellar odatda noma'lum ma'lumotlar, ayniqsa xatolarni o'z ichiga olgan kiritish (haqiqiy dunyo ma'lumotlari uchun juda keng tarqalgan) ma’lumotlari yanada mustahkamroq bo'ladi va bir nechta kichik vazifalarni o'z ichiga olgan kattaroq tizimga integratsiyalashganda yanada ishonchli natijalar beradi.
Mashina tarjimasi sohasidagi ko'pgina dastlabki muvaffaqiyatlarga, ayniqsa, IBM Research kompaniyasidagi muvaffaqiyatli rivojlantirilgan murakkab statistik modellar ishlab chiqilgani tufayli erishildi. Ushbu tizimlar Kanada parlamenti va Yevropa ittifoqi tomonidan barcha hukumat ishlarini tegishli davlat organlarining barcha rasmiy tillariga tarjima qilishni talab qiluvchi qonunlari natijasida mavjud ko'p tilli matnli korporatsiyadan foydalanishga muvaffaq bo’ldi. Biroq, boshqa tizimlarning aksariyati ushbu tizimlar tomonidan amalga oshirilgan vazifalar uchun maxsus ishlab chiqilgan korpuslarga bog'liq edi, bu esa ushbu tizimlar muvaffaqiyatining asosiy cheklovi bo'lgan. Natijada, cheklangan miqdordagi ma'lumotlarni samarali o'rganish usullari bo'yicha ko'plab tadqiqotlar olib borildi.
So'nggi tadqiqotlar nazoratsiz va yarim nazoratli o'rganish algoritmlariga ko'proq e'tibor qaratmoqda. Bunday algoritmlar kerakli javoblar bilan qo'lda izohlanmagan ma'lumotlardan yoki izohli va izohsiz ma'lumotlarning kombinatsiyasidan foydalangan holda o'rganishga qodir. Umuman olganda, bu vazifa nazorat ostida o'rganishga qaraganda ancha qiyin va odatda ma'lum miqdordagi kiritilgan ma'lumotlar uchun kamroq aniq natijalar beradi. Biroq, ko’pincha yomon natijalarni to’ldirishi mumkin bo’lgan juda ko’p izohsiz ma'lumotlar mavjud. Shu jumladan, boshqalar qatorida internetning butun mazmuni ham.