Mashinali o’qitishga kirish fanidan mustaqil ish mavzu: Rekkurent neyron tarmoqlari Bajardi: 022-19 guruh: Xurramov Jasurbek Tekshirdi: Jurayev. U

Gradient tushishi

Gradient tushishi funksiyaning minimalini topish uchun birinchi darajali iterativ optimallashtirish algoritmidir . Neyron tarmoqlarda chiziqli bo'lmagan faollashtirish funktsiyalari farqlanadigan bo'lsa, har bir og'irlikni xatoning hosilasiga mutanosib ravishda o'zgartirish orqali xato atamasini minimallashtirish uchun foydalanish mumkin . Buning uchun turli usullar 1980-yillarda va 1990-yillarning boshlarida Verbos , Uilyams , Robinson , Shmidxuber , Xoxrayter , Pearlmutter va boshqalar tomonidan ishlab chiqilgan.
Standart usul " vaqt bo'ylab orqaga tarqalish " yoki BPTT deb ataladi va oldinga besleme tarmoqlari uchun orqaga tarqalishning umumlashtirilishi . Xuddi shu usul kabi, bu Pontryagin minimal printsipining teskari to'planish rejimida avtomatik farqlash misolidir . Hisoblash jihatidan qimmatroq onlayn variant "Real-Time Recurrent Learning" yoki RTRL deb ataladi, bu to'plangan tangens vektorlari bilan to'g'ridan-to'g'ri to'plash rejimida avtomatik farqlashning namunasidir . BPTT dan farqli o'laroq, bu algoritm vaqt bo'yicha mahalliy, lekin kosmosda mahalliy emas.
Shu nuqtai nazardan, kosmosda mahalliy degani, birlikning og'irlik vektorini faqat ulangan birliklarda va birlikning o'zida saqlangan ma'lumotlardan foydalangan holda yangilanishi mumkinligini anglatadi, shunda bitta birlikning yangilanish murakkabligi vazn vektorining o'lchamida chiziqli bo'ladi. Mahalliy vaqt degani, yangilanishlar doimiy ravishda (onlayn) amalga oshirilishini va BPTTda bo'lgani kabi ma'lum bir vaqt oralig'ida bir nechta vaqt qadamlariga emas, balki faqat eng so'nggi vaqt bosqichiga bog'liqligini anglatadi. Biologik neyron tarmoqlar ham vaqt, ham makon nuqtai nazaridan mahalliy ko'rinadi.
Qisman hosilalarni rekursiv hisoblash uchun RTRL Yakobiya matritsalarini hisoblash uchun har bir vaqt bosqichida O (yashirin x og'irliklar soni) vaqt murakkabligiga ega, BPTT esa har bir vaqt bosqichida faqat O (og'irliklar soni) qiymatini oladi. berilgan vaqt oralig'ida barcha oldinga faollashtirishni saqlash. BPTT va RTRL o'rtasida oraliq murakkablikdagi onlayn gibrid va uzluksiz vaqt uchun variantlar mavjud.
Standart RNN arxitekturalari uchun gradient tushishi bilan bog'liq asosiy muammo shundaki, xato gradientlari muhim voqealar orasidagi vaqt oralig'i kattaligi bilan eksponent ravishda tezda yo'qoladi. LSTM BPTT/RTRL gibrid oʻrganish usuli bilan birgalikda ushbu muammolarni bartaraf etishga harakat qiladi. Bu muammo, shuningdek, mustaqil takrorlanuvchi neyron tarmog'ida (IndRNN) neyron kontekstini o'zining o'tmishdagi holatiga kamaytirish orqali hal qilinadi va o'zaro neyron ma'lumotlarini keyingi qatlamlarda o'rganish mumkin. Turli diapazondagi xotiralarni, shu jumladan uzoq muddatli xotirani gradient yo'qolishi va portlash muammosisiz o'rganish mumkin.
Causal recursive backpropagation (CRBP) deb nomlangan onlayn algoritm mahalliy takrorlanuvchi tarmoqlar uchun BPTT va RTRL paradigmalarini amalga oshiradi va birlashtiradi. U eng umumiy mahalliy takrorlanuvchi tarmoqlar bilan ishlaydi. CRBP algoritmi global xato terminini minimallashtirishi mumkin. Bu fakt algoritm barqarorligini yaxshilaydi, mahalliy fikr-mulohazalar bilan takroriy tarmoqlar uchun gradientni hisoblash texnikasi bo'yicha birlashtiruvchi ko'rinishni ta'minlaydi.
O'zboshimchalik bilan arxitekturaga ega bo'lgan RNN-larda gradient ma'lumotlarini hisoblashning bir yondashuvi signal-oqim grafiklarining diagrammatik hosilasiga asoslangan. Tarmoq sezgirligini hisoblash uchun Li teoremasiga asoslangan BPTT paket algoritmidan foydalanadi. U Wan va Beaufays tomonidan taklif qilingan, uning tezkor onlayn versiyasi esa Campolucci, Uncini va Piazza tomonidan taklif qilingan.