Tursunova durdonaxonning

Rekurent to’rlar.
Reja:

1. 
   Rekurent to’lar.
   
2. 
   Ikkinchi darajali RNNlar.
   
3. 
   Hopfield tarmog'i .
   

A takrorlanadigan neyron tarmoq (RNN) sinfidir sun'iy neyron tarmoqlari bu erda tugunlar orasidagi ulanishlar a yo'naltirilgan grafik vaqtinchalik ketma-ketlik bo'yicha. Bu unga vaqtinchalik dinamik harakatni namoyish etishga imkon beradi. Dan olingan feedforward neyron tarmoqlari, RNNlar o'zlarining ichki holatidan (xotira) foydalanib, kirishlarning o'zgaruvchan uzunlikdagi ketma-ketliklarini qayta ishlashga qodir. Bu ularni ajratilmagan, bog'langan kabi vazifalarga tatbiq etadi qo'l yozuvini tanib olish yoki nutqni aniqlash. "Qayta tiklanadigan neyron tarmoq" atamasi bir-biriga o'xshash umumiy tuzilishga ega bo'lgan ikkita keng tarmoq sinflariga nisbatan birma-bir ishlatiladi, bu erda bitta cheklangan impuls ikkinchisi esa cheksiz impuls. Ikkala tarmoq tarmoqlari ham vaqtinchalik xususiyatga ega dinamik xatti-harakatlar. Cheklangan impulsli takrorlanadigan tarmoq bu a yo'naltirilgan asiklik grafik bu ro'yxatdan o'tkazilishi va o'rniga aniq neyron tarmog'i bilan almashtirilishi mumkin, cheksiz impulsli takrorlanadigan tarmoq esa yo'naltirilgan tsiklik grafik yozib bo'lmaydi.

Har ikkala cheklangan impuls va cheksiz impulsli takrorlanadigan tarmoqlar qo'shimcha saqlangan holatlarga ega bo'lishi mumkin va saqlash to'g'ridan-to'g'ri neyron tarmoq tomonidan boshqarilishi mumkin. Vaqtni kechiktirishni o'z ichiga olgan yoki teskari aloqa ko'chadan bo'lsa, saqlashni boshqa tarmoq yoki grafik bilan almashtirish mumkin. Bunday boshqariladigan holatlar eshik yoki eshik xotirasi deb nomlanadi va ularning bir qismidir uzoq muddatli xotira tarmoqlar (LSTM) va eshikli takroriy birliklar. Bu, shuningdek, Feedback Neural Network (FNN) deb nomlanadi. Qayta tiklanadigan neyron tarmoqlari asos qilib olindi Devid Rumelxart 1986 yilda ishlagan. Hopfild tarmoqlari - maxsus turdagi RNN - tomonidan kashf etilgan Jon Xopfild 1982 yilda. 1993 yilda asabiy kompressor tizimi "Juda chuqur o'rganish" vazifasini hal qildi, bu o'z vaqtida ochilgan RNNda keyingi 1000 dan ortiq qatlamlarni talab qildi. LSTM Uzoq muddatli qisqa muddatli xotira (LSTM)tarmoqlari tomonidan ixtiro qilingan Xoxrayter va Shmidhuber 1997 yilda va bir nechta dastur domenlarida aniqlik yozuvlarini o'rnatdi.
2007 yil atrofida LSTM inqilob qila boshladi nutqni aniqlash, ma'lum nutq dasturlarida an'anaviy modellardan ustunroq. 2009 yilda, a Connectionist vaqtinchalik tasnifi (CTC) o'qitilgan LSTM tarmog'i ulangan bir nechta musobaqalarda g'olib chiqqandan so'ng, namunalarni aniqlash bo'yicha tanlovlarda g'olib bo'lgan birinchi RNN qo'l yozuvini tanib olish. 2014 yilda Xitoy qidiruv giganti Baidu sindirish uchun CTC- dan tayyorlangan RNNlardan foydalangan Switchboard Hub5'00 nutqni aniqlash ma'lumotlar to'plami har qanday an'anaviy nutqni qayta ishlash usullaridan foydalanmasdan benchmark.
LSTM shuningdek, katta lug'atdagi nutqni aniqlashni yaxshiladi va nutqdan matngacha sintez va ishlatilgan Google Android. Ma'lumotlarga ko'ra, 2015 yilda Google nutqni tan olish ko'rsatkichlari 49% ga keskin ko'tarilgan.^{[iqtibos kerak ]} CTC tomonidan tayyorlangan LSTM orqali. LSTM yaxshilangan rekordlarni
yangiladi mashina tarjimasi, Tilni modellashtirish va ko'p tilli tillarni qayta ishlash. LSTM bilan birlashtirilgan konvolyutsion asab tarmoqlari (CNN) yaxshilandi avtomatik rasm taglavhasi. LSTM-larni hisoblash va xotira xarajatlarini hisobga olgan holda, LSTM-ni apparat tezlatgichlari yordamida tezlashtirish bo'yicha ishlar olib borildi.
RNNlar turli xil variantlarda mavjud. To'liq takrorlanadigan
Katlanmagan asosiy takrorlanadigan neyron tarmoq.
Asosiy RNNlar - bu tarmoq neyronga o'xshash ketma-ket qatlamlarga ajratilgan tugunlar. Berilgan qatlamdagi har bir tugun a bilan bog'langan yo'naltirilgan (bir tomonlama) ulanish keyingi ketma-ket qatlamdagi har bir boshqa tugunga. Har bir tugun (neyron) vaqt bo'yicha o'zgaruvchan real qiymatga ega aktivatsiyaga ega. Har bir ulanish (sinaps) o'zgaruvchan haqiqiy qiymatga ega vazn. Tugunlar - bu kirish tugunlari (tarmoq tashqarisidan ma'lumotlarni qabul qilish), chiqish tugunlari (natijalar berish) yoki yashirin tugunlar (ma'lumotlarni o'zgartiradigan) yo'nalishida kirishdan chiqishga). Uchun nazorat ostida o'rganish diskret vaqt sozlamalarida real qiymatli kirish vektorlari ketma-ketligi kirish tugunlariga bir vaqtning o'zida bitta vektor keladi.Har qanday ma'lum bir vaqt qadamida har bir kiritilmagan birlik unga ulanadigan barcha birliklarning faollashuvining tortilgan yig'indisining chiziqli bo'lmagan funktsiyasi sifatida joriy faolligini (natijasini) hisoblab chiqadi. Nazoratchi tomonidan berilgan maqsadli faollashtirishlarni ba'zi bir ishlab chiqarish birliklari uchun ma'lum vaqt bosqichlarida etkazib berish mumkin. Masalan, agar kirish ketma-ketligi so'zlangan raqamga mos keladigan nutq signali bo'lsa, ketma-ketlik oxirida yakuniy maqsad chiqishi raqamni tasniflovchi yorliq bo'lishi mumkin.
Yilda mustahkamlashni o'rganish sozlamalari, hech bir o'qituvchi maqsadli signallarni bermaydi. Buning o'rniga, a fitness funktsiyasi yoki mukofotlash funktsiyasi vaqti-vaqti bilan atrof-muhitga ta'sir ko'rsatadigan aktuatorlarga ulangan chiqish bloklari orqali uning kirish oqimiga ta'sir ko'rsatadigan RNN ishlashini baholash uchun ishlatiladi. Bu yutuq ochkolari soni bilan o'lchanadigan o'yin o'ynash uchun ishlatilishi mumkin. Har bir ketma-ketlik barcha maqsadli signallarning tarmoq tomonidan hisoblangan mos keladigan aktivatsiyalardan chetlanishlari yig'indisi sifatida xatolikni keltirib chiqaradi. Ko'p sonli ketma-ketliklarning mashg'ulotlari uchun umumiy xato barcha individual ketma-ketliklar xatolarining yig'indisidir.
Hopfield tarmog'i
The Hopfield tarmog'i barcha ulanishlar nosimmetrik bo'lgan RNN. Bu talab qiladi statsionar kiritadi va shu bilan umumiy RNN emas, chunki u naqshlar ketma-ketligini qayta ishlamaydi. U birlashishini kafolatlaydi. Agar ulanishlar yordamida o'qitilsa Xebbiylarni o'rganish u holda Hopfield tarmog'i quyidagicha bajarishi mumkin mustahkam manzilga mo'ljallangan xotira, ulanish o'zgarishiga chidamli.


Mustaqil ravishda RNN (IndRNN).Mustaqil ravishda takrorlanadigan neyron tarmoq (IndRNN) an'anaviy to'liq bog'langan RNN-dagi yo'qolgan va portlovchi muammolarni hal qiladi. Bir qatlamdagi har bir neyron faqat o'zining o'tgan holatini kontekstli ma'lumot sifatida qabul qiladi (bu qatlamdagi boshqa barcha neyronlarga to'liq bog'lanish o'rniga) va shu bilan neyronlar bir-birlarining tarixidan mustaqil bo'lishadi. Uzoq yoki qisqa muddatli xotirani saqlab qolish uchun gradient yo'qolishi va portlashiga yo'l qo'ymaslik uchun gradient backpropagation tartibga solinishi mumkin. O'zaro faoliyat neyronlar haqidagi ma'lumotlar keyingi qatlamlarda o'rganiladi. IndRNN ReLU kabi to'yinmagan chiziqli bo'lmagan funktsiyalar bilan mustahkam tarzda o'qitilishi mumkin. Skip-ulanishlar yordamida chuqur tarmoqlarni o'rgatish mumkin.