Avtokoder tarmog'ining ishlash va o'qitishning asosiy printsipi kirish

Variatsion avtokoder (VAE)
Asosiy maqola: Variatsion avtokoder
Variatsion avtokoderlar (VAE) variatsion Bayes usullari oilasiga kiradi. Asosiy avtokoderlar bilan me'moriy o'xshashliklarga qaramay, VAElar turli maqsadlarga ega va mutlaqo boshqa matematik formulaga ega arxitekturadir. Yashirin bo'shliq bu holda sobit vektor o'rniga taqsimotlar aralashmasidan iborat.


Chuqurlikning afzalliklari
To'liq bog'langan 3 ta yashirin qatlamli avtokoderning sxematik tuzilishi. Kod (matnda havola uchun z yoki h) eng ichki qatlam hisoblanadi.
Avtokoderlar ko'pincha bitta qatlamli kodlovchi va bitta qatlamli dekoder bilan o'qitiladi, lekin ko'p qatlamli (chuqur) kodlovchi va dekoderlardan foydalanish juda ko'p afzalliklarni beradi.
Chuqurlik ba'zi funktsiyalarni ifodalashning hisoblash xarajatlarini eksponent ravishda kamaytirishi mumkin. Chuqurlik ba'zi funktsiyalarni o'rganish uchun zarur bo'lgan o'quv ma'lumotlari miqdorini eksponent ravishda kamaytirishi mumkin.
Eksperimental ravishda chuqur avtokoderlar sayoz yoki chiziqli avtokoderlarga qaraganda yaxshiroq siqishni beradi.


Trening
Jeffri Xinton ko'p qatlamli chuqur avtokoderlarni o'rgatish uchun chuqur e'tiqod tarmog'i texnikasini ishlab chiqdi. Uning usuli har bir qo'shni ikki qatlam to'plamini cheklangan Boltsman mashinasi sifatida ko'rib chiqishni o'z ichiga oladi, shunda oldindan tayyorgarlik yaxshi yechimga yaqinlashadi, so'ngra natijalarni aniq sozlash uchun orqaga tarqalishdan foydalanadi.
Tadqiqotchilar qo'shma trening (ya'ni, butun arxitekturani optimallashtirish uchun yagona global rekonstruksiya maqsadi bilan birga o'qitish) chuqur avtomatik kodlovchilar uchun yaxshiroq bo'ladimi yoki yo'qligini muhokama qilishdi.
2015 yilgi tadqiqot shuni ko'rsatdiki, qo'shma mashg'ulotlar qatlamli usul bilan solishtirganda tasniflash uchun ko'proq vakillik xususiyatlari bilan birga yaxshiroq ma'lumotlar modellarini o'rganadi. Biroq, ularning tajribalari shuni ko'rsatdiki, qo'shma mashg'ulotlarning muvaffaqiyati ko'p jihatdan qabul qilingan tartibga solish strategiyalariga bog'liq.


Mashina tarjimasi
Avtokoderlar odatda neyron mashina tarjimasi (NMT) deb ataladigan mashina tarjimasiga qo'llanilgan. An'anaviy avtokoderlardan farqli o'laroq, chiqish kirishga mos kelmaydi - u boshqa tilda. NMT da matnlar o'rganish jarayoniga kodlanadigan ketma-ketliklar sifatida ko'rib chiqiladi, dekoder tomonida maqsadli til(lar)dagi ketma-ketliklar yaratiladi. Tilga xos avtokoderlar o'rganish jarayoniga qo'shimcha lingvistik xususiyatlarni, masalan, xitoy tilidagi parchalanish xususiyatlarini o'z ichiga oladi. Mashina tarjimasi hali ham kamdan-kam hollarda avtokoderlar bilan amalga oshiriladi, aksincha transformator tarmoqlari.