Avtokoder tarmog'ining ishlash va o'qitishning asosiy printsipi kirish

Avtokoder tarmog'ining ishlash va o'qitishning asosiy printsipi kirish darajasiga eng yaqin bo'lgan chiqish qatlamida javob olishdir. Yechimning ahamiyatsiz bo'lishiga yo'l qo'ymaslik uchun avtokoderning oraliq qatlamiga cheklovlar qo'yiladi: oraliq qatlam yoki kirish va chiqish qatlamlariga qaraganda kichikroq o'lchamda bo'lishi kerak yoki bir vaqtning o'zida faol oraliq qatlam neyronlari soni sun'iy ravishda cheklangan - siyrak. faollashtirish. Ushbu cheklovlar neyron tarmoqni kiritilgan ma'lumotlarda umumlashtirish va korrelyatsiyalarni izlashga va ularni siqishni amalga oshirishga majbur qiladi.
Shunday qilib, neyron tarmoq avtomatik ravishda sun'iy neyron tarmog'ining og'irlik qiymatlarida kodlangan kirish ma'lumotlaridan umumiy xususiyatlarni olishga o'rgatiladi. Shunday qilib, tarmoqni turli xil kirish tasvirlari to'plamiga o'rgatishda neyron tarmoq mustaqil ravishda turli burchaklardagi chiziqlar va chiziqlarni tanib olishni o'rganishi mumkin.
Avtokoderlar yordamida ko'p qatlamli perseptronni nazoratsiz oldindan tayyorlash.
Ko'pincha avtokoderlar chuqur (ko'p qatlamli) tarmoqlarni o'qitish uchun kaskadda qo'llaniladi. Avtokoderlar chuqur tarmoqni nazoratsiz oldindan tayyorlash uchun ishlatiladi.
Buning uchun qatlamlar birinchisidan boshlab birin-ketin o'qitiladi. O'quv davri uchun har bir yangi o'qitilmagan qatlamga tarmoqni avtokoder arxitekturasiga to'ldiradigan qo'shimcha chiqish qatlami ulanadi, shundan so'ng o'qitish uchun ma'lumotlar to'plami tarmoq kiritishiga beriladi. O'qitilmagan qatlamning og'irliklari va avtokoderning qo'shimcha qatlami orqaga tarqalish usuli yordamida o'qitiladi. Keyin avtokodlovchi qatlami o'chiriladi va keyingi o'qitilmagan tarmoq qatlamiga mos keladigan yangisi yaratiladi.
Xuddi shu ma'lumotlar to'plami yana tarmoq kiritishiga beriladi, tarmoqning o'qitilgan birinchi qatlamlari o'zgarishsiz qoladi va keyingi o'qitilgan qatlam avtomatik kodlovchisi uchun kirish sifatida ishlaydi. Shunday qilib, oxirgi qatlamlardan tashqari tarmoqning barcha qatlamlari uchun trening davom etadi. Tarmoqning oxirgi qatlamlari odatda bir xil orqaga tarqalish usuli va etiketli ma'lumotlardan foydalangan holda avtokoderdan foydalanmasdan o'qitiladi (nazorat ostida o'rganish).


Tarix
Avtokoder birinchi bo'lib Kramer tomonidan asosiy komponentlar tahlilining (PCA) chiziqli bo'lmagan umumlashtirilishi sifatida taklif qilingan. Avtokoder avtoassosiator yoki Diabolo tarmog'i deb ham ataladi. Uning birinchi ilovalari 1990-yillarning boshlariga toʻgʻri keladi. Ularning eng an'anaviy qo'llanilishi o'lchamlarni qisqartirish yoki xususiyatlarni o'rganish edi, ammo kontseptsiya ma'lumotlarning generativ modellarini o'rganish uchun keng qo'llanila boshlandi. 2010-yillardagi eng kuchli sunʼiy intellektlardan baʼzilari chuqur neyron tarmoqlar ichida joylashgan avtokoderlarni oʻz ichiga olgan.