Takrorlanuvchi neyron tarmoqlar

Reja

1.Recurrent neyron tarmoqlar

2.Uzoq muddatli qisqa xotira (LSTM)
3.Recurrent neyron tarmoqlar muammolari

Takrorlanuvchi neyron tarmoqlar

Takroriy neyron tarmoqlari (RNN) musiqa, matn va harakatni suratga olish ma'lumotlari kabi turli sohalarda ketma-ketlikni yaratish uchun ishlatiladigan dinamik modellarning boy sinfidir. RNNlar real ma'lumotlar ketma-ketliklarini birma-bir qayta ishlash va keyin nima bo'lishini bashorat qilish orqali ketma-ketlikni yaratishga o'rgatishlari mumkin. Bashoratlarni ehtimoliy deb hisoblasak, tarmoqning chiqish taqsimotidan iterativ namunalar olish va keyingi bosqichda namunani kiritish orqali o'qitilgan tarmoqdan yangi ketma-ketliklarni yaratish mumkin. Tarmoqning o'zi deterministik bo'lsa-da, namunalarni tanlashda kiritilgan stokastiklik ketma-ketliklar bo'yicha taqsimlanishni keltirib chiqaradi [5]. Ushbu taqsimot shartli, chunki tarmoqning ichki holati va,
Takroriy neyron tarmoqlar "loyqa" bo'lib, ular bashorat qilish uchun o'quv ma'lumotlarining aniq naqshlaridan foydalanmaydi, balki o'quv misollari orasida ko'p o'zgaruvchan interpolyatsiyadan foydalanadi. Takroriy neyron tarmoqlar, shablonlardan farqli o'laroq, o'quv ma'lumotlarini murakkab tarzda sintez qiladi va tiklaydi va kamdan-kam hollarda bir xil narsalarni ikki marta hosil qiladi. Bundan tashqari, loyqa bashoratlar "o'lchovlilik la'nati" dan aziyat chekmaydi va shuning uchun aniq mosliklarga qaraganda haqiqiy yoki yuqori o'lchamli ma'lumotlarni modellashtirish uchun ancha mos keladi (3-rasmga qarang).



Guruch. 3 "Takrorlanuvchi neyron tarmog'i arxitekturasi"

Turli ketma-ketliklar bilan ishlashda takrorlanuvchi neyron tarmoqlarning yaxshi natija berishi ularning arxitekturasining o‘ziga xos xususiyatlari bilan bog‘liq. Takroriy neyron tarmoqlari (RNN) - bu fikr-mulohazalarni o'z ichiga olgan va ma'lumotni saqlashga imkon beruvchi tarmoqlar. Takroriy tarmoqni bir xil tarmoqning bir nechta nusxalari deb hisoblash mumkin, ularning har biri keyingi nusxaga ma'lumot uzatadi. Agar biz uni kengaytirsak, biz RNNlar zanjirga o'xshashligini ko'ramiz (4-rasmga qarang). Bu ularning ketma-ketliklar va ro'yxatlar bilan chambarchas bog'liqligini ko'rsatadi. Shunday qilib, RNN ushbu turdagi ma'lumotlar bilan ishlash uchun eng tabiiy neyron tarmoq arxitekturasidir [6].

Guruch. 4 "Takrorlanuvchi neyron tarmog'ini ketma-ketlik sifatida ko'rsatish"