Mashinali o’qitishga kirish fanidan mustaqil ish mavzu: Rekkurent neyron tarmoqlari Bajardi: 022-19 guruh: Xurramov Jasurbek Tekshirdi: Jurayev. U

Xopfild

Xopfild tarmog'i RNN bo'lib, unda qatlamlar bo'ylab barcha ulanishlar bir xil o'lchamga ega. U statsionar kirishlarni talab qiladi va shuning uchun umumiy RNN emas, chunki u naqshlar ketma-ketligini qayta ishlamaydi. Biroq, u birlashishini kafolatlaydi. Agar ulanishlar Hebbian ta'limidan foydalangan holda o'qitilgan bo'lsa, Hopfield tarmog'i ulanish o'zgarishiga chidamli bo'lgan mustahkam kontent manzilli xotira sifatida ishlashi mumkin .

Ikki tomonlama assotsiativ xotira 

Bart Kosko tomonidan kiritilgan ikki yoʻnalishli assotsiativ xotira (BAM) tarmogʻi assotsiativ maʼlumotlarni vektor sifatida saqlaydigan Hopfild tarmogʻining bir variantidir. Ikki yo'nalishlilik ma'lumotni matritsa va uning transpozitsiyasi orqali uzatishdan kelib chiqadi . Odatda, assotsiativ juftlarni ikkilik kodlashdan bipolyar kodlash afzalroqdir. Yaqinda Markov qadamini qo'llagan stokastik BAM modellari tarmoq barqarorligini oshirish va real dunyo ilovalariga moslashish uchun optimallashtirildi.

BAM tarmog'i ikkita qatlamdan iborat bo'lib, ularning har biri assotsiatsiyani chaqirish va boshqa qatlamda chiqish hosil qilish uchun kirish sifatida ishlatilishi mumkin.

Echo holati 

Echo state network (ESN) siyrak ulangan tasodifiy yashirin qatlamga ega. Chiqish neyronlarining og'irligi tarmoqning o'zgarishi mumkin bo'lgan yagona qismidir (o'qitilishi mumkin). ESN'lar ma'lum vaqt seriyalarini qayta ishlab chiqarishda yaxshi . Neyronlarni ko'tarish varianti suyuqlik holati mashinasi sifatida tanilgan .

Mustaqil ravishda RNN (IndRNN)

Mustaqil takrorlanuvchi neyron tarmog'i (IndRNN) an'anaviy to'liq bog'langan RNNda gradient yo'qolishi va portlash muammolarini hal qiladi. Bir qatlamdagi har bir neyron faqat o'zining o'tmish holatini kontekst ma'lumoti sifatida oladi (bu qatlamdagi barcha boshqa neyronlarga to'liq ulanish o'rniga) va shuning uchun neyronlar bir-birining tarixidan mustaqildir. Uzoq yoki qisqa muddatli xotirani saqlash uchun gradientning yo'qolishi va portlashiga yo'l qo'ymaslik uchun gradientning orqaga tarqalishini tartibga solish mumkin. Neyronlararo ma'lumotlar keyingi qatlamlarda o'rganiladi. IndRNN ReLU kabi to'yinmagan chiziqli bo'lmagan funktsiyalar bilan mustahkam o'qitilishi mumkin. O'tkazib yuborilgan ulanishlar yordamida chuqur tarmoqlarni o'rgatish mumkin.