Mavzu: Kompyuter lingvistikasi. Tillarni intensiv o‘rganish dasturlari

Mavzu: Kompyuter lingvistikasi. Tillarni intensiv o‘rganish dasturlari

REJA:

1. 
   “Kompyuter lingvistikasi” fani doirasida o‘rganiladigan masalalar.
   
2. 
   Kompyuter lingvistikasining shakllanishi.
   
3. 
   Kompyuter lingvistikasiga oid Yevropa mamlakatlaridagi tadqiqotlar.
   

XX asming o‘rtalarida kibemetikaning rivojlanishi fan tarixida kuzatilmagan tutash sohalar kesimidagi yangi fanlaming shakllanishiga asos bo‘Idi. Jumladan, biologiya va injeneriya fanlari kesimida bionika fani yuzaga keldi. Hisoblash texnikasi va lingvsitika kesimida bir qator nomlar bilan atalgan tutash soha vujudga keldi. Bu fan dastlab, matematik lingvistika, struktur lingvistika, hisoblash lingvistikasi deb nomlangan. Hozirda kompyuer lingvistikasi degan muqim nomga ega boidi. Bu fanning shakllanishida ikki omil qayd etiladi:

1) lingvist tadqiqotchilar zamonaviy aniq fanlar (asosan, matematika) lingvistikada yetishmayotgan aniqlikni ta’minlashda yordam berishiga umid bildirdilar. EHMning paydo bo4ishi bu umidni mustahkamladi. Ko‘pgina tilshunoslarga avval boshdanoq kompyuter nafaqat tez ishlaydigan arifmometrlar, balki mam ustida bajariladigan amallami avtomatlashtirishning qudratli vositasi ekanligi ma’lum bo‘ldi. Ko‘p mehnat talab qiladigan jarayonlami avtomatlashtirish imkoniyati yuzaga keldi. Masalan, matnlami statistik tahlil qilish, turli lug‘at va leksik kartotekalami to‘plash avtomatik tizim asosida olib borildi;
2) kompyuter paydo boMgach ular bilan aloqaga kirishishga hali tayyor bo‘lmagan foydalanuvchilaming muloqotini ta’minJash muammosi tug*ildi. Bunday foydalanuvchilar uchun eng maqbuli kundalik faoliyatlaridagi tabiiy til hisoblanar edi. Ammo bu tarzdagi o‘zaro munosabatni tashkil etish uchun, dastavval, insonlaming o‘zaro muloqot jarayonida ining tabiiy tildan foydalanish qonunlari va xususiyatlarini tushunish kerak bo‘lar edi. An’anaviy tilshunoslik bu masalalar bilan shug‘ullanmagani ma’lum bo‘ldi. Kompyuter lingvistikasi - kompyuter uchun moMjallangan lingvistik ta’minot (kompyuter lingvistika imkoniyatlari subyekti sifatida maydonga chiqadi); Kompyuter lingvistikasi - kompyuterda bajariladigan lingvistika. 7 Kompyuter lingvistikasining muhim tushuncha kategoriyalaridan “freymlar” (vaziyatning tematik tipiklashgan bilimlar deklarativ namoyishi uchun mo‘Ijallangan kotseptual strukturalar) , “ssenariy” (stereotip vaziyat yoki stereotip xulq haqidagi bilimlar namoyishi uchun taqdim qilingan konseptual strukturalar), “plan” (aniq maqsadlardagi yutuqlarga olib boruvchi bilim strukturasi, imkoniyatlar) bir qator masalalaming yoritilishiga xizmat qiladi. tadqiqot olib borish ko‘nikmalariga ega bo‘Iish kabilar nazarda tutiladi. Kompyuter Iingvistikasi tabiiy tilning kompyuter imkoniyatlari asosida reallashadigan ko£rinishidir. Sotsiolingvistika, psixolingvistika, pragmalingvistika, kognitiv lingvistika tilshunoslik sohalari bo‘lgani kabi kompyuter Iingvistikasi ham tilshunoslikning yangi yo‘nalishidir. Kompyuter Iingvistikasi — informatsion texnologiyalar sohasi bilan chambarchas bog‘liq yangi yo‘nalish hisoblanadi. Keyingi yillarda yaratilgan dasturlar - qidiruv mashinasi, dialog tizimi, axborot boshqamvini avtomatlashtirish, matnlami avtomatik tahrirlashni takomillashtirish til, til tizimi imkoniyatlaridan maqsadga muvofiq foydalanishni talab qiladi. Kompyuter lingvistikasining asosiy o ‘rganish doirasini aynan ijtimoiy taraqqiyot asosidagi ehtiyoj - mashina tushuna oladigan va qayta ishlashi mumkin bo‘lgan tabiiy til modelini yaratish tashkil etadi.
lanishiga zamin yaratadi. “Kompyuter lingvistikasi” fani XX asming o‘rtalarida paydo bo‘lgan matematik lingvistika fani asoslaridan kelib chiqqan. Matematik lingvistika fanining asosiy maqsadi tabiiy tillaming matematik modelini ishlab chiqish edi. Matematik lingvistika umumiy lingvistikaning formal va aksiomatik nazariyalarini va aniq tillaming matematik modellarini ishlab chiqishdan iborat vazifalami amalga oshiradi. Shu tariqa tabiiy tillar grammatikasi formal modelining tuzilishi kompyuterda tarjima qilish, til o‘rgatish, matnlami tahrirlash kabi amaliy dasturlami ishlab chiqishga asos bo‘ldi. Lingvistikada til inson bilan mutanosiblikda talqin qilinadi, ya’ni inson zaruriy subyekt sifatida tavsiflanadi. Kompyuter lingvistikasida qo’llaniladigan va yaratiladigan linvistik vositalarni shartli ravishda ikkiga qismga bo’lish mumkin: deklarativ hamda protsedura qismlari. Deklarativ qismga til va nutq birliklari lug’ati, grammatik ma’lumotnomalar, matnlar korpusi kabilarni kiritish mumkin. Protsedura qismi esa yuqoridagi lingvistik ta’minot bazasini boshqarish vositalarini (algoritmlar tuzish, dasturlar yaratish, kompyuter analizi va sintezi kabilar) o’z ichiga oladi. O’zbek tili materiallari bo’yicha kompyuter lingvistikasiga oid tadqiqot olib borgan olimlar sifatida H.Arziqulov, S.Rizaev, S.Muhamedov, A.Po’latov, S.Muhamedova, N.Jo’rayevalarni ko’rsatish mumkin. Olimlar asosan statistik tahlil, algoritmlash, o’zbek tilining aksiomatik nazariyasi, fe’llarning kompyuter analizi va sintezi kabi yo’nalishlar bo’yicha izlanishlarni amalga oshirganlar. Kompyuter lingvistikasi va nazariy tilshunoslik bir-birini to’ldiradi. Kompyuter lingvistikasida til insondan tashqarida mavhum sistema sifatida, L.Yelmslev ta’rifi bilan aytganda “sof munosabatlar tizimi” sifatida tavsiflanadi. Kompyuter lingvistikasi va klassik (mumtoz) tilshunoslik orasidagi farq quyidagi nuqtalarda ko’rinadi: - Mumtoz tilshunoslikda til inson bilan mutanosiblikda, juftlikda ko’rib chiqiladi. Ya’ni mumtoz tilshunoslik insonga yo’naltirilgan bo’ladi va uning faol ishtirokida qabul qilinadi. Kompyuter lingvistikasi esa tavsiflash jarayonida insonni istisno qiladi va u ko’proq kompyuterga moslashtiriladi. - Mumtoz tilshunoslik ko’proq tavsifiy (deskriptiv) xarakterga ega hisoblanadi. Kompyuter lingvistikasi esa masalani miqdoriy xarakteristikalar va aniq parametrlar asosida hal qiladi. Demak, mumtoz tilshunoslik ko’proq tavsifiy bayonga asoslansa, kompyuter lingvistikasi miqdoriy (kvantitativ) tavsifga, algoritmlash, modellashtirish, statistik tahlilga asoslanadi. - Mumtoz tilshunoslik ko’proq nazariy xarakterga ega bo’lib, tilshunoslikning nazariy masalalari bilan shug’ullanadi. Mumtoz tilshunoslikning tahlil obyekti tabiiy til hisoblanadi va tahlilda uning mavjud barcha imkoniyatlari e’tiborga olinadi. Kompyuter lingvistikasida esa ko’proq sun’iy tillarga (programmalashtirish tillari, algoritmik tillar)ga tayaniladi, tabiiy tillarning mavjud imkoniyatlari cheklanadi, bunda tabiiy tilga ishlov berilib (NLP), kompyuterga moslashtiriladi. Kompyuter lingvistikasida “Algоritm“ tushunchasi matеmatikaning asоsiy tushunchalaridan biridir. Bu so’z IX asrda yashagan matеmatik оlim Abu Abdullоh Muhammad al –Xоrazmiy nоmining lоtincha talaffuzidan kеlib chiqqan. Algоritm nazariyasi dеb bеrilgan оmmaviy muammоdagi barcha masalalarni umumiy bir shaklda aniq, ma’lum bo’lgan usul bilan еchish jarayoniga aytiladi. Dеmak, quyidagi еchuvlarning barchasi algоritmlar qatоriga kiradi: a) sоnlar ustidagi arifmеtik amallarni bajarish qоidalari; b) kvadrat ildiz chiqarish qоidasi; d) eng katta umumiy bo’luvchini tоpish qоidasi; e) kvadrat tеnglamalarning еchimini tоpish qоidasi va bоshqalar. Kompyuter lingvistikasida qo’llaniladigan va yaratiladigan linvistik vositalarni shartli ravishda ikkiga qismga bo’lish mumkin: deklarativ hamda protsedura qismlari. Deklarativ qismga til va nutq birliklari lug’ati, grammatik ma’lumotnomalar, matnlar korpusi kabilarni kiritish mumkin. Protsedura qismi esa yuqoridagi lingvistik ta’minot bazasini boshqarish vositalarini (algoritmlar tuzish, dasturlar yaratish, kompyuter analizi va sintezi kabilar) o’z ichiga oladi. O’zbek tili materiallari bo’yicha kompyuter lingvistikasiga oid tadqiqot olib borgan olimlar sifatida H.Arziqulov, S.Rizaev, S.Muhamedov, A.Po’latov, S.Muhamedova, N.Jo’rayevalarni ko’rsatish mumkin. Olimlar asosan statistik tahlil, algoritmlash, o’zbek tilining aksiomatik nazariyasi, fe’llarning kompyuter analizi va sintezi kabi yo’nalishlar bo’yicha izlanishlarni amalga oshirganlar. Kompyuter lingvistikasi va nazariy tilshunoslik bir-birini to’ldiradi. Kompyuter lingvistikasida til insondan tashqarida mavhum sistema sifatida, L.Yelmslev ta’rifi bilan aytganda “sof munosabatlar tizimi” sifatida tavsiflanadi. Kompyuter lingvistikasi va klassik (mumtoz) tilshunoslik orasidagi farq quyidagi nuqtalarda ko’rinadi: - Mumtoz tilshunoslikda til inson bilan mutanosiblikda, juftlikda ko’rib chiqiladi. Ya’ni mumtoz tilshunoslik insonga yo’naltirilgan bo’ladi va uning faol ishtirokida qabul qilinadi. Kompyuter lingvistikasi esa tavsiflash jarayonida insonni istisno qiladi va u ko’proq kompyuterga moslashtiriladi. - Mumtoz tilshunoslik ko’proq tavsifiy (deskriptiv) xarakterga ega hisoblanadi. Kompyuter lingvistikasi esa masalani miqdoriy xarakteristikalar va aniq parametrlar asosida hal qiladi. Demak, mumtoz tilshunoslik ko’proq tavsifiy bayonga asoslansa, kompyuter lingvistikasi miqdoriy (kvantitativ) tavsifga, algoritmlash, modellashtirish, statistik tahlilga asoslanadi. - Mumtoz tilshunoslik ko’proq nazariy xarakterga ega bo’lib, tilshunoslikning nazariy masalalari bilan shug’ullanadi. Mumtoz tilshunoslikning tahlil obyekti tabiiy til hisoblanadi va tahlilda uning mavjud barcha imkoniyatlari e’tiborga olinadi. Kompyuter lingvistikasida esa ko’proq sun’iy tillarga (programmalashtirish tillari, algoritmik tillar)ga tayaniladi, tabiiy tillarning mavjud imkoniyatlari cheklanadi, bunda tabiiy tilga ishlov berilib (NLP), kompyuterga moslashtiriladi. Kompyuter lingvistikasida “Algоritm“ tushunchasi matеmatikaning asоsiy tushunchalaridan biridir. Bu so’z IX asrda yashagan matеmatik оlim Abu Abdullоh Muhammad al –Xоrazmiy nоmining lоtincha talaffuzidan kеlib chiqqan. Algоritm nazariyasi dеb bеrilgan оmmaviy muammоdagi barcha masalalarni umumiy bir shaklda aniq, ma’lum bo’lgan usul bilan еchish jarayoniga aytiladi. Dеmak, quyidagi еchuvlarning barchasi algоritmlar qatоriga kiradi: a) sоnlar ustidagi arifmеtik amallarni bajarish qоidalari; b) kvadrat ildiz chiqarish qоidasi; d) eng katta umumiy bo’luvchini tоpish qоidasi; e) kvadrat tеnglamalarning еchimini tоpish qоidasi va bоshqalar. Kompyuter lingvistikasida qo’llaniladigan va yaratiladigan linvistik vositalarni shartli ravishda ikkiga qismga bo’lish mumkin: deklarativ hamda protsedura qismlari. Deklarativ qismga til va nutq birliklari lug’ati, grammatik ma’lumotnomalar, matnlar korpusi kabilarni kiritish mumkin. Protsedura qismi esa yuqoridagi lingvistik ta’minot bazasini boshqarish vositalarini (algoritmlar tuzish, dasturlar yaratish, kompyuter analizi va sintezi kabilar) o’z ichiga oladi. O’zbek tili materiallari bo’yicha kompyuter lingvistikasiga oid tadqiqot olib borgan olimlar sifatida H.Arziqulov, S.Rizaev, S.Muhamedov, A.Po’latov, S.Muhamedova, N.Jo’rayevalarni ko’rsatish mumkin. Olimlar asosan statistik tahlil, algoritmlash, o’zbek tilining aksiomatik nazariyasi, fe’llarning kompyuter analizi va sintezi kabi yo’nalishlar bo’yicha izlanishlarni amalga oshirganlar. Kompyuter lingvistikasi va nazariy tilshunoslik bir-birini to’ldiradi. Kompyuter lingvistikasida til insondan tashqarida mavhum sistema sifatida, L.Yelmslev ta’rifi bilan aytganda “sof munosabatlar tizimi” sifatida tavsiflanadi. Kompyuter lingvistikasi va klassik (mumtoz) tilshunoslik orasidagi farq quyidagi nuqtalarda ko’rinadi: - Mumtoz tilshunoslikda til inson bilan mutanosiblikda, juftlikda ko’rib chiqiladi. Ya’ni mumtoz tilshunoslik insonga yo’naltirilgan bo’ladi va uning faol ishtirokida qabul qilinadi. Kompyuter lingvistikasi esa tavsiflash jarayonida insonni istisno qiladi va u ko’proq kompyuterga moslashtiriladi. - Mumtoz tilshunoslik ko’proq tavsifiy (deskriptiv) xarakterga ega hisoblanadi. Kompyuter lingvistikasi esa masalani miqdoriy xarakteristikalar va aniq parametrlar asosida hal qiladi. Demak, mumtoz tilshunoslik ko’proq tavsifiy bayonga asoslansa, kompyuter lingvistikasi miqdoriy (kvantitativ) tavsifga, algoritmlash, modellashtirish, statistik tahlilga asoslanadi. - Mumtoz tilshunoslik ko’proq nazariy xarakterga ega bo’lib, tilshunoslikning nazariy masalalari bilan shug’ullanadi. Mumtoz tilshunoslikning tahlil obyekti tabiiy til hisoblanadi va tahlilda uning mavjud barcha imkoniyatlari e’tiborga olinadi. Kompyuter lingvistikasida esa ko’proq sun’iy tillarga (programmalashtirish tillari, algoritmik tillar)ga tayaniladi, tabiiy tillarning mavjud imkoniyatlari cheklanadi, bunda tabiiy tilga ishlov berilib (NLP), kompyuterga moslashtiriladi. Kompyuter lingvistikasida “Algоritm“ tushunchasi matеmatikaning asоsiy tushunchalaridan biridir. Bu so’z IX asrda yashagan matеmatik оlim Abu Abdullоh Muhammad al –Xоrazmiy nоmining lоtincha talaffuzidan kеlib chiqqan. Algоritm nazariyasi dеb bеrilgan оmmaviy muammоdagi barcha masalalarni umumiy bir shaklda aniq, ma’lum bo’lgan usul bilan еchish jarayoniga aytiladi. Dеmak, quyidagi еchuvlarning barchasi algоritmlar qatоriga kiradi: a) sоnlar ustidagi arifmеtik amallarni bajarish qоidalari; b) kvadrat ildiz chiqarish qоidasi; d) eng katta umumiy bo’luvchini tоpish qоidasi; e) kvadrat tеnglamalarning еchimini tоpish qоidasi va bоshqalar.Kompyuter lingvistikasi jarayonida shaxsning ishtiroki bir qadar cheklanadi. Lingvistikada kompyuter tizimining joriy etilishi asming buyuk kashfiyoti bo‘lgan kompyuter texnologiyalarming tilshunoslikka ham kirib kelganidan dalolatdir.
XULOSA
Kompyuter lingvistikasining mashina tarjimasi yo‘nalishida amalga oshirilgan tadqiqotlar bugungi kunda barcha kompyuterlarda mavjud bo’lgan ruschadan boshqa tillarga tarjima qiluvchi dasturlaming yaratilishiga asos bo‘ldi. Xususan, L.L.Nelyubin va uning shogirdlari tomonidan ishlab chiqilgan so‘zma-so‘z tarjima qilishnjng ilmiy strategiyasi (rasmiy-idoraviy uslub asosida) o£sha davr jahon injener lingvistikasi talablari va ilg‘or tajribasiga mos edi. L.L.Nelyubin so‘z va iboralaming avtomatik lug‘ati bilan birgalikdato‘liq tarjima qilish imkoniyatini beruvchi morfologik-sintaktik algoritm-freym yaratishga harakat qilgan; yaratilgan tarjima dasturlari asosida o‘qituvchi lingvistik avtomat (обучающий лингвистический автомат) yaratish me’yorlarini ishlab chiqqan. Bu loyiha o‘quvchilarga ingliz tilidagi rasmiy hujjatlami rus tiliga taijima qilishga imkon beradi. Prof. L.L.Nelyubinning ilmiy faoliyatida mashina taijimasi uchun (ingliz tili bo'yicha) algoritmlar va dasturlar ishlab chiqish asosiy o‘rin tutadi. L.L.Nelyubin, tabiiyki, mashina taijimasida ingliz tili leksikasini butunligicha qamrab ololmas edi. Shuning uchun AQSh harbiy hujjatlarini tadqiqot obyekti sifatida belgiladi va bu sohada ko‘plab ilmiy asarlar yaratdi. Y.N.Marchuk taijimani modellashtirish metodlari va uni avtomatlashtirish yo‘llarini ishlab chiqqan va bugungi rus kompyuter lingvistikasiga asos solgan olimlardan hisoblanadi. Y.N.Marchuk tadqiqotlarida ham bir tabiiy tildan boshqa tilga bo‘lgan tarjimani modellashtirish tamoyillari, tarjima birligi, taijima jarayonining statikasi va dinamikasi tushunchalari hamda EHM ishtirokidagi tarjimaning texnologik xaritasi tavsiflangan. Shuningdek, ko‘plab rus, ukrain, moldovan olimlari ham mashina tarjimasi masalalari bilan shug'ullanishgan, ulaming izlanishlari kompyuter lingvistikasida muhim o ‘rin tutadi. Xususan, bu sohada ko‘plab nomzodlik va doktorlik dissertatsiyalari yaratilganini alohida ta’kidlash lozim. Dissertatsiyalar sohani yanada chuqurroq o‘rganish uchun zamin yaratdi.
Informatsion texnologiyalar va ingliz tili ta’siri natijasida xitoy tili leksikasida o‘zgarishlar sodir boMdi. Xitoy tilining xos xususiyatlaridan biri bo’lgan omonimiya uning butun tarixiy taraqqiyot bosqichida muhim rol o ‘ynadi. Hozirgi kunda xitoy ierolgliflarining keng imkoniyatlarini hisobga olib, omonimlar asosida kompyuter o‘yinlari yaratilmoqda. Ieroglif yozuvlar XX asrda bir qator o‘yinlarga asos bo‘ldi. Xitoy Xalq Respublikasi onlayn kommunikatsiyasining ommaviy xarakteri til me’yorlariga talabning pasayishi bilan belgilanadi. Internet Xitoy xalqi hayotida muhim rol o'ynaydi. Internet tizimidan foydlanuvchilar butun Yevropa aholisidan ko‘ra ko‘proq miqdomi tashkil etadi. Tarmoqda barcha Xitoy ommaviy axborot vositalari, ilmiy jumallari berib boriladi. Xitoyda favqulodda wangluo wenxue degan rasmiy nom bilan kiritilgan seteratura (сетевая литература) - tarmoq adabiyoti ommaviylashdi. Xitoy sotsial tarmoqlarida va blogosferasida sezilarli o‘zgarishlar kuzatilmoqda. 90% xitoylik ovozli matn ko‘rinisbidagi xabarlami uzatishda intemetdan mobil aloqa vositalari yordamida foydalanadi. Bugungi kunda har kuni jahon bo‘ylab millionlab xitoyliklar foydalanadigan eng faol va ko‘p ftmksiyali WeChat kommunikator — ilovasi {welxin “kichik xabar”) mashhurdir. Til resurslaridan, grafik elementlardan, so‘zdan, grammatikadan foydalanishning yangi yoMlari chatlarda va forumlarda kuzatiladi. Bugungi kunda Xitoydagi tilni va yozuvni an’anaviy standartlashda onlayn muloqot tili lingvistik fenomen sifatida dolzarb ahamiyat kasb etmoqda. Xitoyda qadim davrlardan boshlab yozma va og‘zaki nutq o^asida katta farq kuzatiladi. Savodxonlik elitaga xos xususiyat sifatida qaralgan. Yozma nutqqa xitoyliklar hamisha hurmat va e’tibor bilan yondashgan. Xitoy tiliga hamisha e’tibor berib kelingan. Xitoyda har yili faol so‘zlar va ifodalar ro‘yxati tuziladi, neologizmlar lug‘ati nashr etiladi. Onlayn kommunikatsiya xitoy tilini og‘zaki va yozma shaklida namoyon boMar ekan, o‘zida muhim ijtimoiy ahamiyatga ega bo’lgan til vositasini namoyon qiladi. Xitoyda bir tomondan intemet-muloqot yozma shaklda amalga oshmoqda. Ikkinchi tomondan, onlayn kommunikatsiya jonli muloqotni, dinamiklik va yuqori darajadagi ekspressivlik xos bo’lgan jarayonni ta’minlamoqda.