Mashinali o’qitishga kirish fanidan mustaqil ish mavzu: Rekkurent neyron tarmoqlari Bajardi: 022-19 guruh: Xurramov Jasurbek Tekshirdi: Jurayev. U

MUHAMMAD AL-XORAZMIY NOMIDAGI TOSHKENT AXBOROT TEXNOLOGIYALARI UNIVERSITETI
MASHINALI O’QITISHGA KIRISH FANIDAN
MUSTAQIL ISH
MAVZU: Rekkurent neyron tarmoqlari


Bajardi: 022-19 guruh: Xurramov Jasurbek
Tekshirdi: Jurayev. U

Reja

1. 
   Takroriy neyron tarmog'i
   
2. 
   Rekkurent neyron tarmogi tarixi
   
3. 
   Rekkurent neyron tarmogi arxitekturasi
   

Takroriy neyron tarmog'i ( RNN ) - bu sun'iy neyron tarmoqlari sinfi bo'lib , unda tugunlar orasidagi ulanishlar tsikl yaratishi mumkin, bu esa ba'zi tugunlardan chiqish bir xil tugunlarga keyingi kirishga ta'sir qilish imkonini beradi. Bu unga vaqtinchalik dinamik xatti-harakatni ko'rsatishga imkon beradi. Oldinga uzatiladigan neyron tarmoqlardan olingan RNNlar o'zlarining ichki holatidan (xotiradan) kirishlarning o'zgaruvchan uzunlikdagi ketma-ketliklarini qayta ishlash uchun foydalanishlari mumkin. Bu ularni segmentlarga ajratilmagan, bogʻlangan qoʻl yozuvini aniqlash yoki nutqni aniqlash kabi vazifalarga qoʻllanilishiga imkon beradi . Takrorlanuvchi neyron tarmoqlar nazariy jihatdanTuring tugallanadi va kirishlarning ixtiyoriy ketma-ketligini qayta ishlash uchun ixtiyoriy dasturlarni ishga tushirishi mumkin.

"Takrorlanuvchi neyron tarmog'i" atamasi cheksiz impulsli javobga ega bo'lgan tarmoqlar sinfiga ishora qilish uchun ishlatiladi , " konvolyutsion neyron tarmoq " esa cheklangan impulsli javoblar sinfini anglatadi . Tarmoqlarning ikkala sinfi ham vaqtinchalik dinamik xatti-harakatni namoyon qiladi . Cheklangan impulsli takrorlanuvchi tarmoq yoʻnaltirilgan siklik grafik boʻlib, uni yoʻnaltirish va qatʼiy oldinga yoʻnaltiriladigan neyron tarmoq bilan almashtirish mumkin, cheksiz impulsli takrorlanuvchi tarmoq esa yoʻnaltirilgan siklik grafik boʻlib , uni yoʻnaltirib boʻlmaydi.
Ham chekli impuls, ham cheksiz impulsli takrorlanuvchi tarmoqlar qo'shimcha saqlangan holatlarga ega bo'lishi mumkin va saqlash neyron tarmoq tomonidan bevosita nazorat qilinishi mumkin. Saqlash, shuningdek, vaqt kechikishlarini o'z ichiga olgan yoki qayta aloqa halqalari bo'lsa, boshqa tarmoq yoki grafik bilan almashtirilishi mumkin. Bunday boshqariladigan holatlar eshikli holat yoki eshikli xotira deb ataladi va uzoq qisqa muddatli xotira tarmoqlari (LSTM) va eshikli takrorlanuvchi birliklarning bir qismidir . Bunga Feedback Neural Network (FNN) ham deyiladi.
Tarix
Takroriy neyron tarmoqlar 1986 yilda Devid Rumelxart ishiga asoslangan edi. [9] Xopfild tarmoqlari - RNN ning maxsus turi - 1982 yilda Jon Xopfild tomonidan (qayta) kashf etilgan . 1993 yilda neyron tarixi kompressor tizimi "Juda" muammosini hal qildi. RNNda 1000 dan ortiq keyingi qatlamlarni talab qiladigan chuqur o'rganish" vazifasi vaqt o'tishi bilan ochildi.
LSTM
Uzoq qisqa muddatli xotira (LSTM) tarmoqlari 1997 yilda Hochreiter va Schmidhuber tomonidan ixtiro qilingan va bir nechta ilovalar domenlarida aniqlik rekordlarini o'rnatgan.

Taxminan 2007 yilda LSTM nutqni aniqlashda inqilob qila boshladi va ma'lum nutq ilovalaridagi an'anaviy modellardan ustun keldi. 2009 yilda Connectionist Temporal Classification (CTC) tomonidan o'qitilgan LSTM tarmog'i ulangan qo'l yozuvini aniqlash bo'yicha bir nechta tanlovlarda g'olib chiqqanida naqshni aniqlash tanlovlarida g'olib chiqqan birinchi RNN bo'ldi .2014-yilda Xitoyning Baidu kompaniyasi 2S09 Switchboard Hub5'00 nutqni aniqlash maʼlumotlar toʻplamini hech qanday anʼanaviy nutqni qayta ishlash usullaridan foydalanmasdan sindirish uchun CTC tomonidan oʻqitilgan RNN’lardan foydalangan.

LSTM shuningdek, katta lug'atli nutqni aniqlash va matndan nutqqa sintezni yaxshiladi va Google Androidda qo'llanildi . 2015-yilda Google-ning nutqni tanib olishi CTC tomonidan oʻqitilgan LSTM orqali 49% ga keskin oʻsishni boshdan kechirdi iqtibos keltirish kerak .
LSTM takomillashtirilgan mashina tarjimasi , tilni modellashtirish va koʻp tilli tillarni qayta ishlash boʻyicha rekordlarni yangiladi. LSTM konvolyutsion neyron tarmoqlari (CNN) bilan birgalikda avtomatik tasvir taglavhalarini yaxshiladi .