Matematika-informatika fakulteti amaliy matematika va informatika kafedrasi amaliy matematika yo

6.1. Radial neyron to’rlar.
6.2.Rekurrent to’rlar
Ekurrent neyron tarmoq (RNN) - bu ketma-ket ma'lumotlar yoki vaqt seriyasi 
ma'lumotlaridan foydalanadigan sun'iy neyron tarmoq turi. Ushbu chuqur o'rganish 
algoritmlari odatda tilni tarjima qilish, tabiiy tilni qayta ishlash (nlp), nutqni 
aniqlash va tasvirga sarlavha qo'yish kabi tartibli yoki vaqtinchalik muammolar 
uchun ishlatiladi; ular Siri, ovozli qidiruv va Google Translate kabi mashhur 
ilovalarga kiritilgan. Oldinga va konvolyutsion neyron tarmoqlari (CNN) singari, takroriy neyron tarmoqlar o'rganish uchun o'quv ma'lumotlaridan foydalanadi. Ular o'zlarining "xotirasi" bilan ajralib turadi, chunki ular
joriy kirish vachiqishga ta'sir qilish uchun oldingi kirishlardan ma'lumot oladi. An'anaviy chuqur neyron 
tarmoqlari kirish va chiqishlar bir-biridan mustaqil deb hisoblansa-da, takroriy 
neyron tarmoqlarning chiqishi ketma-ketlikdagi oldingi elementlarga bog'liq. 
Kelajakdagi voqealar ma'lum ketma-ketlikning natijasini aniqlashda foydali bo'lsa-
da, bir yo'nalishli takrorlanuvchi neyron tarmoqlar o'zlarining bashoratlarida bu 
hodisalarni hisobga olmaydilar. 
Rekurrent neyron tarmog'i va oldinga uzatiladigan neyron tarmog'i farqi 
Rekurrent neyron tarmoqlarni (chapda) va oldinga uzatiladigan neyron 
tarmoqlarini (o'ngda) taqqoslash 
Takroriy tarmoqlarning yana bir ajralib turadigan xususiyati shundaki, ular 
tarmoqning har bir qatlami bo'ylab parametrlarni almashadilar. Oldinga 
yo'naltirilgan tarmoqlar har bir tugun bo'ylab turli og'irliklarga ega bo'lsa-da, takroriy neyron tarmoqlar tarmoqning har bir qatlamida bir xil og'irlik parametrini bo'lishadi. Ya'ni, bu og'irliklar hali ham o'rganishni kuchaytirish uchun orqaga tarqalish va gradient tushish jarayonlarida sozlanadi. 
Takroriy neyron tarmoqlar gradientlarni aniqlash uchun vaqt bo'yicha orqaga tarqalish (BPTT) algoritmidan foydalanadi, bu ma'lumotlar ketma-ketligiga xos bo'lganligi sababli an'anaviy orqaga tarqalishdan bir oz farq qiladi. BPTT printsiplari an'anaviy orqagatarqalish bilan bir xil bo'lib, bu erda model chiqish qatlamidan kirish qatlamigacha bo'lgan xatolarni hisoblash orqali o'zini o'zi 
o'rgatadi. Ushbu hisob-kitoblar bizga model parametrlarini mos ravishda 
moslashtirish vamoslashtirish imkonini beradi. BPTT an'anaviy yondashuvdan farq qiladi, chunki BPTT har bir bosqichda xatolarni yig'adi, va oldinga uzatish tarmoqlari xatolarni yig'ishga hojat yo'q, chunki ular har bir qatlam bo'ylab parametrlarni baham ko'rmaydi.