Mashinali o’qitishga kirish fanidan mustaqil ish mavzu: Rekkurent neyron tarmoqlari Bajardi: 022-19 guruh: Xurramov Jasurbek Tekshirdi: Jurayev. U

Global optimallashtirish usullari

Neyron tarmoqdagi og'irliklarni o'rgatish chiziqli bo'lmagan global optimallashtirish muammosi sifatida modellashtirilishi mumkin. Muayyan vazn vektorining mosligini yoki xatosini baholash uchun maqsadli funktsiyani quyidagicha shakllantirish mumkin: Birinchidan, tarmoqdagi og'irliklar og'irlik vektoriga muvofiq o'rnatiladi. Keyinchalik, tarmoq mashg'ulotlar ketma-ketligiga qarab baholanadi. Odatda, ta'lim ketma-ketligida ko'rsatilgan bashoratlar va maqsadli qiymatlar o'rtasidagi yig'indi kvadrat farqi joriy vazn vektorining xatosini ifodalash uchun ishlatiladi. Ushbu maqsadli funktsiyani minimallashtirish uchun o'zboshimchalik bilan global optimallashtirish usullaridan foydalanish mumkin.
RNNlarni o'qitish uchun eng keng tarqalgan global optimallashtirish usuli genetik algoritmlardir , ayniqsa tuzilmagan tarmoqlarda.
Dastlab, genetik algoritm neyron tarmoq og'irliklari bilan oldindan belgilangan tarzda kodlanadi, bunda xromosomadagi bitta gen bitta vazn aloqasini ifodalaydi. Butun tarmoq bitta xromosoma sifatida ifodalanadi. Fitnes funktsiyasi quyidagicha baholanadi:
Xromosomada kodlangan har bir vazn tarmoqning tegishli og'irlik aloqasiga tayinlanadi.
O'quv majmuasi kirish signallarini oldinga yo'naltiradigan tarmoqqa taqdim etiladi.
O'rtacha kvadratcha xatosi fitnes funksiyasiga qaytariladi.
Bu funktsiya genetik tanlov jarayonini boshqaradi.
Ko'p xromosomalar populyatsiyani tashkil qiladi; shuning uchun ko'plab turli neyron tarmoqlar to'xtash mezoni qondirilmaguncha rivojlanadi. Umumiy to'xtatish sxemasi:

Neyron tarmoq o'quv ma'lumotlarining ma'lum bir foizini o'rganganida yoki

O'rtacha-kvadrat-xatoning minimal qiymati bajarilganda yoki
Ta'lim avlodlarining maksimal soniga erishilganda.
To'xtatish mezoni fitnes funksiyasi tomonidan baholanadi, chunki u mashg'ulot paytida har bir tarmoqdan o'rtacha kvadrat xatoning o'zaro javobini oladi. Shuning uchun genetik algoritmning maqsadi o'rtacha kvadrat xatoni kamaytirish, fitnes funktsiyasini maksimal darajada oshirishdir.
Boshqa global (va/yoki evolyutsion) optimallashtirish usullari yaxshi og'irliklar to'plamini izlash uchun ishlatilishi mumkin, masalan, simulyatsiya qilingan tavlanish yoki zarrachalar to'dasini optimallashtirish .