Mashinali o’qitishga kirish fanidan mustaqil ish mavzu: Rekkurent neyron tarmoqlari Bajardi: 022-19 guruh: Xurramov Jasurbek Tekshirdi: Jurayev. U

Ikkinchi tartibli RNNlar

Ikkinchi tartibli RNNlar yuqori tartibli og'irliklardan foydalanadilarIn��� standart o'rnigaIn�� og'irliklar va holatlar mahsulot bo'lishi mumkin. Bu mashg'ulot, barqarorlik va namoyishda cheklangan holatli mashinaga to'g'ridan-to'g'ri xaritalash imkonini beradi . Uzoq qisqa muddatli xotira bunga misol boʻla oladi, ammo bunday rasmiy xaritalar yoki barqarorlik isboti yoʻq.

Uzoq qisqa muddatli xotira

Uzoq qisqa muddatli xotira (LSTM) - bu gradient yo'qolishi muammosining oldini oladigan chuqur o'rganish tizimi . LSTM odatda "unutish darvozalari" deb nomlangan takrorlanuvchi eshiklar bilan to'ldiriladi. LSTM orqaga tarqaladigan xatolarning yo'qolishi yoki portlashining oldini oladi. Buning oʻrniga xatolar kosmosda ochilgan cheksiz sonli virtual qatlamlar orqali orqaga oqib ketishi mumkin. Ya'ni, LSTM minglab yoki hatto millionlab diskret vaqt qadamlari oldin sodir bo'lgan voqealar xotirasini talab qiladigan vazifalarni o'rganishi mumkin . Muammoga xos LSTMga o'xshash topologiyalar ishlab chiqilishi mumkin. LSTM hatto muhim voqealar oʻrtasidagi uzoq kechikishlarda ham ishlaydi va past va yuqori chastotali komponentlarni aralashtiruvchi signallarni boshqarishi mumkin.
Ko'pgina ilovalar LSTM RNN steklaridan foydalanadi va ularni Connectionist Temporal Classification (CTC) bo'yicha o'rgatadi , bu esa tegishli kirish ketma-ketliklarini hisobga olgan holda o'quv to'plamidagi yorliqlar ketma-ketliklarining ehtimolini maksimal darajada oshiradigan RNN vazn matritsasi topadi. CTC ham moslashishga, ham tanib olishga erishadi.
LSTM yashirin Markov modellari (HMM) va shunga o'xshash tushunchalarga asoslangan oldingi modellardan farqli o'laroq, kontekstga sezgir tillarni tanib olishni o'rganishi mumkin .
2 -rasm
Uzoq qisqa muddatli xotira birligi

Gated recurrent birligi

Gated recurrent units (GRU) 2014-yilda joriy etilgan takroriy neyron tarmoqlarda shlyuziv mexanizmdir. Ular toʻliq shaklda va bir nechta soddalashtirilgan variantlarda qoʻllaniladi. Ularning polifonik musiqa modellashtirish va nutq signallarini modellashtirish boʻyicha ishlashi uzoq qisqa muddatli xotiraga oʻxshashligi aniqlandi. Ular LSTM ga qaraganda kamroq parametrlarga ega, chunki ularda chiqish eshigi yo'q.

3-rasm Darvozali takrorlanuvchi birlik