Tursunova durdonaxonning

Rekursiv neyron tarmoq
A rekursiv neyron tarmoq bir xil og'irlik to'plamini qo'llash orqali yaratiladi rekursiv ichida strukturani bosib o'tish orqali farqlanadigan grafikka o'xshash struktura ustida topologik tartib. Bunday tarmoqlar odatda teskari rejimda o'qitiladi avtomatik farqlash. Ular qayta ishlashlari mumkin tarqatilgan vakolatxonalar kabi tuzilish mantiqiy atamalar. Rekursiv neyron tarmoqlarining alohida holati - bu RNN, uning tuzilishi chiziqli zanjirga to'g'ri keladi. Rekursiv neyron tarmoqlari qo'llanildi tabiiy tilni qayta ishlash. Rekursiv nerv-Tensor tarmog'ida a tensor - daraxtdagi barcha tugunlarga asoslangan kompozitsion funktsiya.
Nerv tarixidagi kompressor - bu RNNlarning nazoratsiz to'plami. Kirish darajasida u avvalgi kirishlardan keyingi kiritishni bashorat qilishni o'rganadi. Ierarxiyadagi ba'zi bir RNNlarning faqat oldindan aytib bo'lmaydigan kiritmalari keyingi yuqori darajadagi RNN- ning kirish qismiga aylanadi, shuning uchun uning ichki holati kamdan- kam hollarda hisoblab chiqiladi. Shunday qilib, har bir yuqori darajadagi RNN quyidagi RNNdagi ma'lumotlarning siqilgan ko'rinishini o'rganadi. Bu kirish ketma-ketligini eng yuqori darajadagi vakolatxonadan aniq qayta tiklashi uchun amalga oshiriladi.
Tizim tavsif uzunligini yoki minusni minimallashtiradi logaritma ma'lumotlarning ehtimolligi. Kiruvchi ma'lumotlar ketma-ketligida juda ko'p o'rganiladigan prognozni hisobga olgan holda, eng yuqori darajadagi RNN nazorat qilinadigan ta'limdan foydalanib, hatto muhim voqealar orasidagi uzoq vaqt oralig'idagi chuqur ketma-ketlikni tasniflashi mumkin. RNN iyerarxiyasini ikkita RNNga distillash mumkin: "ongli" chunker (yuqori daraja) va "bilinçaltı" avtomatizator (pastki daraja). Chunker avtomatizator tomonidan oldindan aytib bo'lmaydigan kirishni bashorat qilishni va siqishni o'rgangandan so'ng, avtomatizator keyingi o'quv bosqichida sekinroq o'zgarib turadigan chunkerning yashirin bo'linmalarini qo'shimcha birliklar orqali bashorat qilishga yoki taqlid qilishga majbur qilinishi mumkin. Bu avtomatizatorga mos keladigan, kamdan-kam o'zgaruvchan xotiralarni uzoq vaqt oralig'ida o'rganishni osonlashtiradi. O'z navbatida, bu avtomatizatorga bir vaqtlar oldindan aytib bo'lmaydigan kirishlar ko'pini bashorat qilishda yordam beradi, shunda chunker qolgan kutilmagan hodisalarga e'tibor qaratishi mumkin.
A generativ model qisman engib chiqdi yo'qolib borayotgan gradyan muammosi ning avtomatik farqlash yoki orqaga targ'ib qilish 1992 yilda neyron tarmoqlarda. 1993 yilda bunday tizim "Juda chuqur o'rganish" vazifasini hal qildi, bu o'z vaqtida ochilgan RNNda 1000 dan ortiq keyingi qatlamlarni talab qildi.
Ikkinchi darajali RNNlar
Ikkinchi darajali RNNlar yuqori darajadagi og'irliklardan
foydalanadilar standart o'rniga og'irliklar va holatlar mahsulot bo'lishi mumkin. Bu to'g'ridan-to'g'ri a-ga xaritalashga imkon beradi cheklangan davlat mashinasi ham mashg'ulotda, barqarorlikda va vakillikda. Uzoq muddatli xotira bunga misoldir, ammo bunday rasmiy xaritalar yoki barqarorlikni isbotlovchi hujjat yo'q.
Uzoq muddatli qisqa muddatli xotira

Uzoq muddatli xotira birligi
Uzoq muddatli qisqa muddatli xotira (LSTM) bu a chuqur o'rganish dan qochadigan tizim yo'qolib borayotgan gradyan muammosi. LSTM odatda "unutilgan eshiklar" deb nomlangan takrorlanadigan eshiklar tomonidan ko'paytiriladi. LSTM backpropagated xatolarning yo'q bo'lib ketishiga yoki portlashiga yo'l qo'ymaydi. Buning o'rniga, xatolar kosmosda ochilgan cheksiz ko'p miqdordagi virtual qatlamlar orqali orqaga qarab oqishi mumkin. Ya'ni, LSTM vazifalarni o'rganishi mumkin oldin minglab, hatto millionlab diskret vaqt qadamlari bilan sodir bo'lgan voqealar xotiralarini talab qiladi. Muammolarga xos LSTMga o'xshash topologiyalar rivojlanishi mumkin. LSTM muhim voqealar orasidagi uzoq kechikishlarni hisobga olgan holda ham ishlaydi va past va yuqori chastotali komponentlarni aralashtiruvchi signallarni boshqarishi mumkin.
Ko'pgina dasturlarda LSTM RNN to'plamlari ishlatiladi va ularni o'rgatish Connectionist Temporal Classification (CTC) mos keladigan kirish ketma-ketliklarini hisobga olgan holda o'quv majmuasida yorliqlar ketma-ketligi ehtimolini maksimal darajada oshiradigan RNN og'irlik matritsasini topish. CTC ham moslashtirishga, ham tanishga erishadi. LSTM tanib olishni o'rganishi mumkin kontekstga sezgir tillar oldingi modellardan farqli o'laroq yashirin Markov modellari (HMM) va shunga o'xshash tushunchalar.
Gate recurrent unit

Gate recurrent unit
Gate recurrent birliklari (GRU) - bu kirish mexanizmi takrorlanadigan neyron tarmoqlari Ular to'liq shaklda va bir nechta soddalashtirilgan variantlarda qo'llaniladi. Ularning polifonik musiqa modellashtirish va nutq signallarini modellashtirish bo'yicha ishlashi uzoq muddatli xotiraga o'xshashligi aniqlandi. Ular LSTM ga qaraganda kamroq parametrlarga ega, chunki ular chiqish eshigiga ega emaslar.
Ikki tomonlama takrorlanadigan neyron tarmoqlari
Ikki yo'nalishli RNNlar elementning o'tmishi va kelajakdagi kontekstiga asoslanib ketma-ketlikning har bir elementini bashorat qilish yoki belgilash uchun cheklangan ketma-ketlikni qo'llaydi. Bu ikkita RNNning chiqishlarini birlashtirish orqali amalga oshiriladi, biri ketma- ketlikni chapdan o'ngga, ikkinchisi o'ngdan chapga ishlov beradi. Birlashtirilgan natijalar o'qituvchi tomonidan berilgan maqsad signallarining bashoratidir. Ushbu uslub, ayniqsa LSTM RNN bilan birlashganda foydali ekanligi isbotlangan.

• 
  RNNlarni o'qitish uchun eng keng tarqalgan global optimallashtirish usuli bu genetik algoritmlar, ayniqsa, tuzilmagan tarmoqlarda. Dastlab, genetik algoritm neyron tarmoq og'irliklari bilan oldindan belgilangan tartibda kodlangan, bu erda bitta
  

gen xromosoma bitta og'irlik havolasini ifodalaydi. Butun tarmoq bitta xromosoma sifatida ifodalanadi. Fitnes funktsiyasi quyidagicha baholanadi:

• 
  Xromosomada kodlangan har bir vazn tarmoqning tegishli vazn zvenosiga biriktirilgan.
  
• 
  O'quv to'plami kirish signallarini oldinga yoyadigan tarmoqqa taqdim etiladi.
  
• 
  O'rtacha kvadratik xatolik fitness funktsiyasiga qaytariladi.
  

• 
  Ushbu funktsiya genetik selektsiya jarayonini boshqaradi.
  
• 
  Ko'p xromosomalar populyatsiyani tashkil qiladi; shuning uchun to'xtash mezonlari qondirilguncha ko'plab turli xil asab tarmoqlari rivojlanib boradi. Umumiy to'xtatish sxemasi:
  
• 
  Neyron tarmoq o'quv ma'lumotlarining ma'lum bir foizini o'rganganida yoki
  

Qachon o'rtacha kvadrat-xatoning minimal qiymati qondiriladi yoki O'qitish avlodlarining maksimal soniga erishilganda. To'xtash mezonlari fitnes funktsiyasi bilan baholanadi, chunki u mashg'ulotlar davomida har bir tarmoqdan o'rtacha kvadratik xatoning o'zaro javobini oladi. Shuning uchun genetik algoritmning maqsadi fitnes funktsiyasini maksimal darajaga ko'tarish, o'rtacha kvadrat-xatolikni kamaytirishdir.Og'irlikning yaxshi to'plamini izlash uchun boshqa global (va / yoki evolyutsion)optimallashtirish usullaridan foydalanish mumkin simulyatsiya qilingan tavlanish yoki zarrachalar to'dasini optimallashtirish.
Tegishli maydonlar va modellar
RNNlar o'zini tutishi mumkin tartibsiz. Bunday hollarda, dinamik tizim nazariyasi tahlil qilish uchun ishlatilishi mumkin. Ular aslida rekursiv neyron tarmoqlari ma'lum bir tuzilishga ega: chiziqli zanjir. Rekursiv neyron tarmoqlari har qanday ierarxik tuzilishda

ishlaydi, bolalar vakolatxonalarini ota-ona vakolatxonalariga birlashtirgan bo'lsa, takroriy neyron tarmoqlari vaqtning chiziqli progressiyasida ishlaydi, avvalgi vaqt pog'onasini va yashirin vakolatxonani joriy vaqt pog'onasida taqdim etadi. Xususan, RNN larning chiziqli bo'lmagan versiyalari sifatida ko'rinishi mumkin cheklangan impulsli javob va cheksiz impulsli javob filtrlar va shuningdek chiziqli bo'lmagan avtoregressiv ekzogen model .

RNNs neyron tarmoqlarining maxsus sinfidir by ichki o'z-o'zini ulanishlar, bu mumkin printsip, har qanday chiziqli bo'lmagan dinamik tizim, ma'lum bir aniqlik darajasiga qadar . RNN va ularning variantlari ma'lumotlarga tempog'zaki bog'liqligi muhim yashirin xususiyat bo'lgan ko'plab con matnlarida ishlatilgan model dizaynida. RNN-larning diqqatga sazovor dasturlariga quyidagilar kiradi ketma-ketlik transduktsiyasi , tilni modellashtiri , nutq aniqlash , o'rganish so'z embeddings , audio modellashtirish , yozuv recognition , va tasvir
avlod . bu asarlarning ko'pchiligi RNN bir mashhur variant edi ishlatilgan, uzoq-qisqa term Xotira chaqirdi . Bu ikkinchisi tufayli judakatta e'tiborga sazovor bo'ldi axborotni juda uzoq vaqt saqlash qobiliyati. RNN ketma-ket ma'lumotlarni qayta ishlaganda, u har bir elementda bir xil operatsiyalarni bajaradi kirish sequence. Uning chiqishi, har bir qadamda, avvalgi kirish va o'tgan hisoblashlarga bog'liq. Bu tarmoq ork-ga yashirin holatida bilvosita kodlangan oldingi voqealar xotirasini rivojlantirishga imkon beradi o'zgaruvchilar. Bu, albatta, an'anaviy oziqlantirishdan farq qiladisarar neyron tarmoqlar, bu erda shunday deb taxmin qilinadi barcha kirishlar (va chiqishlar) bir-biridan mustaqil. Nazariy jihatdan, RNNs o'zboshimchalik bilan uzoq vaqt eslashi mumkin ketma-ketliklar. Biroq, ularning xotirasi amalda cheklangan o'lchamlari bilan cheklangan va tanqidiyjihatdan ularning parametrlarini suboptimal o'qitish. to xotira cheklashlar bartaraf, so'nggi tadqiqot harakatlari olib hav tashqi, doimiy xotira bilan jihozlangan roman RNN arc hitectures dizayniga vaqt abadiy uzoq miqdori uchun ma'lumot saqlash . Bashorat qilish uchun qabul qilingan boshqa chiziqli modellardan farqli o'laroq, RNN o'zboshimchalik bilan murakkablikdagi funktsiyalarni o'rganishi mumkin va ular to'yinganlik yoki eksponent effektlar kabi xususiyatlarga ega bo'lgan vaqt qatorlari ma'lumotlari bilan shug'ullanishlari mumkin latent o'zgaruvchilar orasidagi nochiziqli o'zaro ta'sirlar. Ammo, agar ma'lumotlarning vaqtinchalik bog'liqliklari keng tarqalgan bo'lsa cheklangan va kichik vaqt oralig'ida mavjudbo'lib,RNN-lardan foydalanish unnecessary. In ushbu holatlar performanslar.