Akbarov Sardorbekning "Sun’iy intellekt va neyron to’rli texnologiyalar"

Tegishli maydonlar va modellar

RNNlar o'zini tutishi mumkin tartibsiz. Bunday hollarda, dinamik tizim nazariyasi tahlil qilish uchun ishlatilishi mumkin. Ular aslida rekursiv neyron tarmoqlari ma'lum bir tuzilishga ega: chiziqli zanjir. Rekursiv neyron tarmoqlari har qanday ierarxik tuzilishda ishlaydi, bolalar vakolatxonalarini ota-ona vakolatxonalariga birlashtirgan bo'lsa, takroriy neyron tarmoqlari vaqtning chiziqli progressiyasida ishlaydi, avvalgi vaqt pog'onasini va yashirin vakolatxonani joriy vaqt pog'onasida taqdim etadi. Xususan, RNN larning chiziqli bo'lmagan versiyalari sifatida ko'rinishi mumkin cheklangan impulsli javob va cheksiz impulsli javob filtrlar va shuningdek chiziqli bo'lmagan avtoregressiv ekzogen model .
RNNs neyron tarmoqlarining maxsus sinfidir by ichki o'z-o'zini ulanishlar, bu mumkin printsip, har qanday chiziqli bo'lmagan dinamik tizim, ma'lum bir aniqlik darajasiga qadar . RNN va ularning variantlari ma'lumotlarga tempog'zaki bog'liqligi muhim yashirin xususiyat bo'lgan ko'plab con matnlarida ishlatilgan model dizaynida. RNN-larning diqqatga sazovor dasturlariga quyidagilar kiradi ketma-ketlik transduktsiyasi , tilni modellashtiri , nutq aniqlash , o'rganish so'z embeddings , audio modellashtirish , yozuv recognition , va tasvir avlod . bu asarlarning ko'pchiligi RNN bir mashhur variant edi ishlatilgan, uzoq-qisqa term Xotira chaqirdi . Bu ikkinchisi tufayli judakatta e'tiborga sazovor bo'ldi axborotni juda uzoq vaqt saqlash qobiliyati.RNN ketma-ket ma'lumotlarni qayta ishlaganda, u har bir elementda bir xil operatsiyalarni bajaradi kirish sequence. Uning chiqishi, har bir qadamda, avvalgi kirish va o'tgan hisoblashlarga bog'liq. Bu tarmoq ork-ga yashirin holatida bilvosita kodlangan oldingi voqealar xotirasini rivojlantirishga imkon beradi o'zgaruvchilar. Bu, albatta, an'anaviy oziqlantirishdan farq qiladisarar neyron tarmoqlar, bu erda shunday deb taxmin qilinadi barcha kirishlar (va chiqishlar) bir-biridan mustaqil. Nazariy jihatdan, RNN o'zboshimchalik bilan uzoq vaqt eslashi mumkin ketma-ketliklar. Biroq, ularning xotirasi amalda cheklangan o'lchamlari bilan cheklangan va tanqidiyjihatdan ularning parametrlarini suboptimal o'qitish. to xotira cheklashlar bartaraf, so'nggi tadqiqot harakatlari olib hav tashqi, doimiy xotira bilan jihozlangan roman RNN arc hitectures dizayniga vaqt abadiy uzoq miqdori uchun ma'lumot saqlash . Bashorat qilish uchun qabul qilingan boshqa chiziqli modellardan farqli o'laroq, RNN o'zboshimchalik bilan murakkablikdagi funktsiyalarni o'rganishi mumkin va ular to'yinganlik yoki eksponent effektlar kabi xususiyatlarga ega bo'lgan vaqt qatorlari ma'lumotlari bilan shug'ullanishlari mumkin latent o'zgaruvchilar orasidagi nochiziqli o'zaro ta'sirlar. Ammo, agar ma'lumotlarning vaqtinchalik bog'liqliklari keng tarqalgan bo'lsa cheklangan va kichik vaqt oralig'ida mavjudbo'lib,RNN-lardan foydalanish unnecessary. In ushbu holatlar performanslar.