Real vaqt rejimida ishlovchi audio tarjimonlar tahlili

Asosiy qism.
Google kompaniyasining nutqdan-nutqga tarjima texnologiyasi Translototron haqida.
Google kompaniyasi o’zining og'zaki nutqni sinxron tarjima qilishning yangi texnologiyasi “Translatotronni” 2019-yil 15 mayda e’lon qildi. Bu haqda kompaniya o‘z rasmiy blogida ma’lum qilgan edi.
Odatda tizimlar og'zaki tilni bir tildan ikkinchi tilga tarjima qilish uchun kaskadli modeldan foydalanadi. Birinchidan, tizim nutqni uning transkripsiyasini ishlab chiqish uchun avtomatik ravishda tilni tanib olish jarayonini amalga oshiradi, undan so’ng olingan tayyor matn sun’iy intelekt mashinasi orqali kerakli tilga tarjima qilinadi, so'ngra tarjima qilinagn matn audio yozuvga aylantiriladi. Bunday tizim Google Translate'da ham qo'llaniladi. Googlening Translatotron texnologiyasi algoritmi nutqdan matnga o’tkazishdagi rasshivrovka bosqichni amalga oshirmaydi. Google dasturchilar tomonidan yaratilgan neyron tarmog’i ovozli original audioyozuvning spektrogrammasini qabul qilib oladi va boshqa tildagi nutqning spektrogrammasini sintez qiladi. Keyin algoritm audio faylni sintez qiladi.
Bundan tashqari, Translatotron nutqdagi intonatsiyalar va pauzalarni, shuningdek, tarjima paytida so’zlashayotgan inson ovozining emotsiyalarini o’xshatishga harakat qilishi mumkin. Biroq, asl ovoz saqlanib qolganda, tarjimada biroz farq bo’ladi, chunki neyron tarmog'ining ushbu versiyasiga yetarlicha ko’p ma'lumotlar o’rgatib bo’lmaydi. Google mutaxassislari bu Translatotronni algoritmini BLEU usuli yordamida sinovdan o‘tkazdilar, bu esa mashina tarjimasi bilan inson tarjimasini solishtirish usuli hisoblanadi. Ular so'zlashuv tili uchun ispan va ingliz tillarini tanlab tarjima qilishdi. Sinov natijalariga ko'ra, mutaxassislar Translatotron hali ham kaskad modelidan ko’ra ish unumdorligi pastroq ekanligini tan olishdi. Shu bilan birga, Translatotron — Google maʼlumotlariga koʻra, nutqni bir tildan ikkinchi tilga bevosita tarjima qila oladigan birinchi texnologiyalardan deb hisoblashadi. Translototron ishlash algoritmi haqida ko’proq bilish uchun Googlening Github dagi rasmiy profiliga tashrif buyurib batafsil o’rganishinggiz mumkin.