27-Amaliy mashg’ulot: Rekurrent to‘rlar
Download 86.1 Kb. Pdf ko'rish
|
27-mavzu
|
27-Amaliy mashg’ulot: Rekurrent to‘rlar ekurrent neyron tarmoq (RNN) - bu ketma-ket ma'lumotlar yoki vaqt seriyasi ma'lumotlaridan foydalanadigan sun'iy neyron tarmoq turi. Ushbu chuqur o'rganish algoritmlari odatda tilni tarjima qilish, tabiiy tilni qayta ishlash (nlp), nutqni aniqlash va tasvirga sarlavha qo'yish kabi tartibli yoki vaqtinchalik muammolar uchun ishlatiladi; ular Siri, ovozli qidiruv va Google Translate kabi mashhur ilovalarga kiritilgan. Oldinga va konvolyutsion neyron tarmoqlari (CNN) singari, takroriy neyron tarmoqlar o'rganish uchun o'quv ma'lumotlaridan foydalanadi. Ular o'zlarining "xotirasi" bilan ajralib turadi, chunki ular joriy kirish va chiqishga ta'sir qilish uchun oldingi kirishlardan ma'lumot oladi. An'anaviy chuqur neyron tarmoqlari kirish va chiqishlar bir-biridan mustaqil deb hisoblansa-da, takroriy neyron tarmoqlarning chiqishi ketma-ketlikdagi oldingi elementlarga bog'liq. Kelajakdagi voqealar ma'lum ketma-ketlikning natijasini aniqlashda foydali bo'lsa- da, bir yo'nalishli takrorlanuvchi neyron tarmoqlar o'zlarining bashoratlarida bu hodisalarni hisobga olmaydilar. Rekurrent neyron tarmog'i va oldinga uzatiladigan neyron tarmog'i farqi Rekurrent neyron tarmoqlarni (chapda) va oldinga uzatiladigan neyron tarmoqlarini (o'ngda) taqqoslash Takroriy tarmoqlarning yana bir ajralib turadigan xususiyati shundaki, ular tarmoqning har bir qatlami bo'ylab parametrlarni almashadilar. Oldinga yo'naltirilgan tarmoqlar har bir tugun bo'ylab turli og'irliklarga ega bo'lsa-da, takroriy neyron tarmoqlar tarmoqning har bir qatlamida bir xil og'irlik parametrini bo'lishadi. Ya'ni, bu og'irliklar hali ham o'rganishni kuchaytirish uchun orqaga tarqalish va gradient tushish jarayonlarida sozlanadi. Takroriy neyron tarmoqlar gradientlarni aniqlash uchun vaqt bo'yicha orqaga tarqalish (BPTT) algoritmidan foydalanadi, bu ma'lumotlar ketma-ketligiga xos bo'lganligi sababli an'anaviy orqaga tarqalishdan bir oz farq qiladi. BPTT printsiplari an'anaviy orqaga tarqalish bilan bir xil bo'lib, bu erda model chiqish qatlamidan kirish qatlamigacha bo'lgan xatolarni hisoblash orqali o'zini o'zi o'rgatadi. Ushbu hisob-kitoblar bizga model parametrlarini mos ravishda moslashtirish va moslashtirish imkonini beradi. BPTT an'anaviy yondashuvdan farq qiladi, chunki BPTT har bir bosqichda xatolarni yig'adi, va oldinga uzatish tarmoqlari xatolarni yig'ishga hojat yo'q, chunki ular har bir qatlam bo'ylab parametrlarni baham ko'rmaydi. Download 86.1 Kb. Do'stlaringiz bilan baham: 
|