Amaliy matematika” fakulteti “60610300 – Axborot xavfsizligi

LSTM
 
Uzoq qisqa muddatli xotira (LSTM) tarmoqlari 1997 yilda Hochreiter va Schmidhuber tomonidan 
ixtiro qilingan va bir nechta ilovalar domenlarida aniqlik rekordlarini o'rnatgan. 
Taxminan 2007 yilda LSTM nutqni aniqlashda inqilob qila boshladi va ma'lum nutq ilovalaridagi 
an'anaviy modellardan ustun keldi. 2009-yilda Connectionist Temporal Classification (CTC) 
tomonidan oʻqitilgan LSTM tarmogʻi ulangan qoʻl yozuvini tanib olish boʻyicha bir nechta 
tanlovlarda gʻolib chiqqanida naqshni aniqlash tanlovlarida gʻolib chiqqan birinchi RNN 
boʻldi . 2014-yilda Xitoyning Baidu kompaniyasi 2S09 Switchboard Hub5'00 nutqni aniqlash 
maʼlumotlar toʻplamini hech qanday anʼanaviy nutqni qayta ishlash usullaridan foydalanmasdan 
sindirish uchun CTC tomonidan oʻqitilgan RNN’lardan foydalangan. 
LSTM shuningdek, katta lug'atli nutqni aniqlash va matndan nutqqa sintezni yaxshiladi va Google 
Androidda qo'llanildi . 2015-yilda Google-ning nutqni tanib olishi CTC tomonidan oʻqitilgan LSTM 
orqali 49% ga keskin oʻsishni boshdan kechirdi 
Uzoq qisqa muddatli xotira (LSTM) - bu gradient yo'qolishi muammosining oldini oladigan chuqur 
o'rganish tizimi . LSTM odatda "unutish darvozalari" deb nomlangan takrorlanuvchi eshiklar bilan 
to'ldiriladi. LSTM orqaga tarqaladigan xatolarning yo'qolishi yoki portlashining oldini 
oladi. Buning oʻrniga, xatolar kosmosda ochilgan cheksiz sonli virtual qatlamlar orqali orqaga oqib 
ketishi mumkin. Ya'ni, LSTM minglab yoki hatto millionlab diskret vaqt qadamlari oldin sodir 
bo'lgan voqealar xotirasini talab qiladigan vazifalarni o'rganishi mumkin . Muammoga xos LSTMga 
o'xshash topologiyalar ishlab chiqilishi mumkin. LSTM hatto muhim voqealar oʻrtasidagi uzoq 
kechikishlarda ham ishlaydi va past va yuqori chastotali komponentlarni aralashtiruvchi signallarni 
boshqarishi mumkin.Ko'pgina ilovalar LSTM RNN steklaridan foydalanadi va ularni Connectionist 
Temporal Classification (CTC) bo'yicha o'qitadi , bu esa mos keladigan kirish ketma-ketliklarini 
hisobga olgan holda o'quv to'plamidagi yorliqlar ketma-ketligi ehtimolini maksimal darajada 
oshiradigan RNN vazn matritsasi topadi. CTC ham moslashishga, ham tanib olishga erishadi. 
LSTM yashirin Markov modellari (HMM) va shunga o'xshash tushunchalarga asoslangan oldingi 
modellardan farqli o'laroq, kontekstga sezgir tillarni tanib olishni o'rganishi mumkin . 

---

7-rasm.Uzoq qisqa muddatli xotira birligi
3. Recurrent neyron tarmoqlari (RNN) - vaqt seriyasi ma'lumotlari, audio signallar yoki matn 
ma'lumotlari kabi o'zgaruvchan uzunlikdagi ketma-ket ma'lumotlarni qayta ishlay oladigan neyron 
tarmoqlar. Ular har bir bosqichda yangilanadigan va keyingi bosqich uchun kirish sifatida tarmoqqa 
qaytariladigan yashirin holatni saqlab qolish orqali maʼlumotlarning vaqtinchalik bogʻliqliklarini 
qoʻlga kiritish uchun moʻljallangan. 
8-rasm.RNN
RNN ning asosiy arxitekturasi kirish qatlami, yashirin qatlam va chiqish qatlamidan iborat. Har bir 
bosqichda kirish avvalgi yashirin holat bilan birga tarmoqqa kiritiladi. Tarmoq kirish va oldingi 
yashirin holat asosida yangi yashirin holatni hisoblab chiqadi, bu esa keyingi bosqich uchun kirish 
sifatida ishlatiladi. Har bir qadamdagi chiqish joriy yashirin holatdan hisoblanadi.Biroq, asosiy 
RNNlar yo'qolib borayotgan gradient muammosidan aziyat chekmoqda, bu esa xatolarni tarqatish va 
uzoq muddatli bog'liqliklarni o'rganishni qiyinlashtiradi. Ushbu muammoni hal qilish uchun RNN 
arxitekturasining bir nechta variantlari taklif qilingan, jumladan, Uzoq qisqa muddatli xotira (LSTM) 
tarmoqlari va Gated Recurrent Units (GRUs).LSTM tarmoqlari maxfiy holatdan ma'lumotni tanlab 
o'qish, yozish va unutish uchun xotira xujayralari va eshiklardan foydalanadi, bu esa tarmoqqa uzoq 
muddatli bog'liqliklarni yanada samaraliroq tutish imkonini beradi. GRU’lar LSTM tarmoqlarining 
soddalashtirilgan versiyasi bo‘lib, ular o‘xshash natijalarga erishish uchun kamroq parametrlardan 
foydalanadi.