Mashina tarjimasi turlari va ularning qiyosiy tahlili

Misollarga asoslangan mashina tarjimasi
Misollarga asoslangan mashina tarjimasi(EBMT), bazi hollarda Hotiraga asoslangan mashina tarijamsi deb ham yuritiladi, korpusga asoslangan metodlardan biri bo‘lib ilk bor 1984- yilda Makato Nagao [6] tomonidan yaratilgan. Misollarga asoslangan mashina tarjimasining asosiy jihati allaqachon tarjima qilingan misollar korpusi maʼlumotlar bazasidan foydalanish va tegishli misollarni olish uchun ushbu maʼlumotlar bazasiga yangi kiritilgan maʼlumotlarni moslashtirish jarayonini oʻz ichiga oladi, soʻngra toʻgʻri tarjimani aniqlash uchun analogik tarzda qayta birlashtiriladi. Harold Somersning fikriga ko‘ra EBMT va misollarga asosan o‘rganish (Exemple-Based Learning), hotiraga asosan o‘rganish(Memory-Based Reasoning), manba analogiyasi (Derivational Analogy) kabi Machine Learning(ML) texnikalari bilan o‘xshash jihatlari ko‘p [7]. Chunki ushbu texnikalar ham misollarga asoslangan mashina tarjimasi kabi oldindan mavjud bo‘lgan ma’lumotlar bazasiga asoslangan holda yangi ma’lumotlarni o‘zlashtiradi. Misollarga asoslangan mashina tarjimasi bilan deyarli bir vaqtda shakllantirilgan statistik uslublardan foydalangan holda tarjima qilish usulining paydo bo‘lishi va uning samadorlik darajasing yuqoriligi Misollarga asoslangan mashina tarjimasiga bo ‘lgan qiziqish va izlanishlarga keskin tasir qildi.
Statistik mashina tarjimasi
Statistik mashina tarjimasi - bu statistik modellar yordamida matnni bir tildan boshqa tilga tarjima qilish usuli bo‘lib qoidalarga asoslangan mashina tarjimasi yondashuvlaridan sezilarli darajada farq qiladi va u asosan 2000-yillarning boshlarida ommalasha boshladi. Statistik mashina tarjimasi statistik modellar va katta hajmdagi ikki tilli korpuslardan olingan ehtimollar asosida ishlaydi. Statistik mashina tarjimasining asosiy vazifasi matnni bir tildan boshqa tilga tarjima qilish uchun parallel ma’lumotlardan (asliyat va tarjima tillardagi jumlalar yoki hujjatlar orqali) o'rganilgan statistik ma’lumotlardan foydalanishdir.

4-rasm. Statistik mashina tarjimasida qo‘llaniladigan modellar

Jarayon parallel ma’lumotlar bo‘yicha turli statistik modellarni o‘qitishni o‘z ichiga oladi, ularga quyidagilar kiradi:

• 
  Tarjima modeli: Tarjima modeli parallel ma’lumotlarda kuzatilgan tarjimalar asosida so‘zlar, iboralar yoki so‘z birliklarini asliyat tildan tarjima tilga qanday tarjima qilishni o‘rganadi. U turli xil tarjima variantlariga ehtimollarni belgilaydi, bu tizimga kiritilgan jumlani hisobga olgan holda eng ehtimoliy tarjimani tanlash imkonini beradi.
  
• 
  So‘zlarni moslashtirish modeli: So‘zlarni moslashtirish modeli parallel ma’lumotlardagi asliyat va tarjima jumlalar o‘rtasida alohida so‘zlar yoki so‘z birliklarini moslashtiradi. Bu tarjima jarayonida foydalaniladigan so‘zma-so‘z tarjimalarini shakllantirishga yordam beradi.
  
• 
  Til modeli: Til modeli asliyat tildagi so‘zlar ketma-ketligi ehtimolini baholaydi. Bu yaratilgan tarjimalarning ravon va grammatik jihatdan to‘g‘ri bo‘lishini ta’minlashga yordam beradi.
  
• 
  Dekodlash algoritmi: dekodlash algoritmi statistik modellar va so‘zlarni moslashtirish ma’lumotlaridan asliyat tilda berilgan jumlalar uchun moslik ehtimolligi yuqori deb hisoblangan tarjimani yaratish uchun foydalanadi. Dekodlash jarayoni tarjima va til modellari asosida umumiy ehtimollikni maksimal darajada oshiradigan tarjimani qidirishni o‘z ichiga oladi.
  

Kamchiliklari:

• 
  Kontekstning etishmasligi: Statistik mashina tarjimasi modellari ko'pincha uzoq muddatli bog'liqliklar va kontekstni qo'lga kiritishda qiynaladi, bu neyron mashina tarjimasi bilan solishtirganda manodorligi kamroq va sifati past bo’lgan kontekstli tarjimalarga olib keladi.
  
• 
  So'z ma'nosini ajratib ko'rsatish: Statistik mashina tarjimasi tizimlari so'z ma'nolarini ajratishda qiyinchiliklarga duch kelishi mumkin, bu esa tarjima xatolariga olib keladi.
  
• 
  Kam ishlatiladigan iboralarni tarimalash: Lug’at ma'lumotlarida mavjud bo'lmagan kamdan-kam yoki ko'rinmas iboralar statistik mashina tarjimasi modellari uchun muammoli bo'lishi mumkin.
  

Statistik mashina tarjimasi o‘quv ma’lumotlarida kuzatilgan o‘xshash jixatlar yangi, ko‘rilmagan jumlalar uchun mos kelishi mumkin degan taxminga tayanadi. Shuning uchun statistik mashina tarjimasi tizimining sifati va aniqligi ko‘p jihatdan o‘quv ma’lumotlarining hajmi va xilma-xilligiga bog‘liq. Garchi neyron mashina tarjimasi o'zining yuqori ishlashi tufayli so'nggi yillarda asosan statistik mashina tarjimasi o'rnini bosgan bo'lsa-da, statistik mashina tarjimasi asoslarini chuqur o’rganilishi hali juda ham muhim hisoblanadi, chunki u mashina tarjimasi sohasidagi ko'plab yutuqlarga yo'l ochdi.
Neyron Mashina Tarjimasi
Shuni ta’kidlash kerakki, SMT o‘tmishda mashina tarjimasi uchun dominant yondashuv bo‘lgan bo‘lsa-da, neyron mashina tarjimasi yangi texnikalar, yanada murakkab lingvistik bog‘liqliklar va uzoq muddatli kontekstni qo‘lga kiritish qobiliyati tufayli ishlash va mashhurlik bo‘yicha statistik mashina tarjimasidan oshib ketdi. Shunga qaramay, statistik mashina tarjimasi mashina tarjimasi tarixi va rivojlanishining muhim qismi bo‘lib qolmoqda. Statistik mashina tarjimasi neyron mashina tarjimasi rivojlanishidan oldin eng ko‘p o‘rganilgan mashina tarjimasi usuli edi. Neyron mashina tarjimasi ham, statistik mashina tarjimasi kabi til tarjimasiga ma’lumotlarga asoslangan yondashuvlar sifatida tanilgan. Ya’ni, ular tushunchalarni olish va aniqlik/ish samaradorligini oshirish uchun katta hajmdagi ma’lumotlarga bog‘liq. Ushbu ma’lumotlar odatda korpus formatida (jumlalar/so‘zlar/iboralar to‘plami) taqdim etiladi.
Neyron mashina tarjimasi bosgqa mashina tarjimasi usullaridan farqli ravisgda matnni bir tildan boshqa tilga tarjima qilish uchun sun’iy neyron tarmoqlariga tayanadi. U Deep Learning tamoyillari asosida ishlaydi va tarjimalarni yaratish uchun turli tillardagi so‘zlar o‘rtasidagi bog‘liqliklar va munosabatlarni o‘rganish uchun neyron tarmoqlardan foydalanadi. Uning tizimining odatiy arxitekturasi encoder-decoder modelidan iborat. Buni 5-rasmda ko‘rib chiqishimiz mumkin.

5-rasm. Neyron mashina tarjimasi ishlash mexanizmi

Umuman olganda, neyron mashina tarjimasi keng ko'lamli til juftliklari va domenlarida aniqroq va ravon tarjimalarni yaratish uchun chuqur o‘rganish usullaridan foydalangan holda mashina tarjimasi sohasida inqilob qildi va shu bilan bir qatorda katta hajmdagi o‘quv ma’lumotlari va kuchli hisoblash resurslaridan foydalangan holda, neyron mashina tarjimasi modellari turli til juftliklari o‘rtasida tarjima qilishda ajoyib samaradorlikni ko‘rsatdi va mashina tarjimasining eng zamonaviy usuliga aylandi.Uning kontekstual ma’lumotlarni olish va tildagi uzoq muddatli bog‘liqliklarni boshqarish qobiliyati uni tillararo muloqot va kontentni mahalliylashtirish uchun kuchli vositaga aylantiradi.