Takrorlanuvchi neyron tarmoqlar

RNN bilan bog'liq muammolar

Chuqur takrorlanuvchi neyron tarmog'ini amalga oshirish jarayonida muammolar paydo bo'ldi. Shaklda. 15 dastur kiritilgan ma'lumotlar bo'yicha kerakli natijaga erisha olmaganligini ko'rsatadi, buni rasmda ko'rish mumkin. 14. Gap shundaki, takrorlanuvchi neyron tarmoqlar kam ma'lumotni eslab qoladi. Ular o'tmishdagi ma'lumotlardan hozirgi ma'lumot va kerak bo'lgan joy orasidagi masofa kichik bo'lganda foydalanishni o'rganishlari mumkin. Bu masofa oshgani sayin, RNN ma'lumotlarni bog'lash qobiliyatini yo'qotadi. Boshqacha qilib aytganda, takroriy neyron tarmog'i faqat so'nggi bir necha kirishda ishlaydi. Shuning uchun, RNNlarni o'rgatish ko'pincha qiyin, bu tajribada sodir bo'lgan narsa.



14-rasm "Kirish ma'lumotlari"



Guruch. 15 "Rekurrent neyron tarmog'i ishining natijasi"

Ushbu muammoni chetlab o'tish uchun prognozlarni modelga qaytarishdan oldin shovqinni kiritish va shu bilan modelning kutilmagan ma'lumotlarga chidamliligini oshirish taklif etiladi. Biroq, ko'proq maqbul yo'l LSTM dan foydalanishdir, chunki uzoq qisqa muddatli xotira uzoq muddatli bog'liqliklarni o'rganishga qodir (1-bob, 1.3-bo'limga qarang), shuning uchun LSTM dan foydalanganda shunga o'xshash muammoga duch kelish qiyin.

Shunday qilib, uzoq qisqa muddatli xotiraning yashirin qatlamlari bilan chuqur takrorlanuvchi neyron tarmog'i amalga oshirildi. Shaklda. 16-rasmda xuddi shu kiritilgan ma'lumotlar bilan ishlash natijalari ko'rsatilgan (14-rasmga qarang). Dastur natijalarining boshqa misollarini ilovada ko'rish mumkin.

Guruch. 16 "LSTM yashirin qatlamlari bilan chuqur RNN natijalari"

Xulosa
Shunday qilib, o'tkazilgan eksperimentlar qo'l yozuvini avtomatlashtirish muammosini hal qilish uchun uzoq qisqa muddatli xotiraning (LSTM) yashirin qatlamlari (RNN) bilan takrorlanuvchi neyron tarmog'idan foydalanishning maqsadga muvofiqligini ko'rsatadi, balki faqat takroriy neyron tarmog'idan emas. Ushbu arxitektura yordamida olingan natijalar inson qo'l yozuvi bilan bir xil bo'lib, ko'plab mavjud dasturlardan farqli o'laroq, nafaqat belgilarning yozilishi, balki ularning kombinatsiyasi ham tabiiyligini saqlab qoladi.
Amalga oshirilgan dasturiy mahsulotning yaxshi natijalariga va bosma va qo'lda yozilgan matnni rasm ko'rinishida emas, balki ketma-ketlik ko'rinishida taqdim etish afzalligiga qaramay, muammoni hal qilishda hali ham ba'zi muammolar mavjud.
O'quv bazasini yaratish uchun matn kiritishning har xil turlari mavjud. Turli xil qo'l yozuvlarini yig'ish nafaqat ixtisoslashtirilgan uskunalarda (3-bo'lim, 3.3-bandga qarang), balki aqlli taxtalar va grafik planshetlarda ham amalga oshirilishi mumkin. Men IAM Onlayn ma'lumotlar bazasining kirill alifbosida analoglarini topa olmadim va o'zingizni yaratish uchun sizga har bir daqiqada qalamning holatini kuzatib boradigan, olingan ma'lumotlarni XML fayliga yozadigan kuzatuvchi dasturi kerak. Luidia kompaniyasi o'z mahsulotlari uchun "e-Beam" [16] ta'riflangan tarzda ma'lumotlarni qabul qilish imkonini beruvchi dasturiy ta'minot ishlab chiqaradi, ammo ularning kuzatuvchi dasturlari boshqa brendlarning planshetlari va platalari bilan mos kelmaydi. Shuning uchun, e-Beam vositalariga ega bo'lmasdan, o'zingizning qo'l yozuvingiz namunalari yoki ingliz tilidan boshqa dunyoning istalgan tilida ma'lumotlar bazasini yaratish uchun,
Shunday qilib, kelajakda grafik planshet uchun treker dasturini yozish orqali kirill alifbosidagi yozma ma'lumotlar bazasi olinadi. Mavjud neyron tarmoq rus tilida qo'lda yozilgan matnlarni yaratish uchun o'qitilishi va ishlatilishi mumkin.
Foydalanilgan adabiyotlar
1. Boshlanuvchilar uchun konvolyutsion neyron tarmoqlarni tushunish bo‘yicha qo‘llanma [Elektron resurs]: URL: https://adeshpande3.github.io/A-Beginner's-Guide-To-Understanding-Convolutional-Neural-Networks/ (Kirish mumkin: 02/08/ 2019).
2. Venkatesan R., Li B. Vizual hisoblashda konvolyutsion neyron tarmoqlari: qisqacha qo'llanma. Florida: CRC Press, 2017. 168 p.
3. DMT dasturiy ta'minoti [Elektron resurs] //HandWriter dasturi - bosma matndan "qo'lda yozilgan". URL: http://dmtsoft.ru/un/hw_help_1 (kirish sanasi: 05/03/2018).
4. Coobie [Elektron resurs] // "Scribe" - eslatmalarni qayta yoza oladigan dangasa talabalar uchun xizmat. URL: https://coo.by/writer (kirish sanasi: 05/03/2018).
5. Mandic DP, Chambers JA bashorat qilish uchun takroriy neyron tarmoqlari: o'rganish algoritmlari, arxitekturasi va barqarorligi. London: Wiley, 2001. 308 b.
6. Tolosana R. On-layn qo'lda yozilgan imzo biometrikasi uchun takroriy neyron tarmoqlarni o'rganish [Elektron resurs] // IEEE Xplore Digital Library. 2018. URL: https://ieeexplore.ieee.org/document/8259229 (21/02/2019 kirilgan).
7. LSTM va takroriy neyron tarmoqlar boʻyicha boshlangʻich qoʻllanma [Elektron resurs]: URL: https://skymind.ai/wiki/lstm (kirish 02/08/2019).
8. Brownlee J. Python bilan uzoq qisqa muddatli xotira tarmoqlari: chuqur o'rganish bilan ketma-ketlikni bashorat qilish modellarini ishlab chiqish. Sidney: Jeyson Braunli, 2017. 229 p.
9. Graves A. Rekurent neyron tarmoqlari bilan ketma-ketliklarni yaratish
[Elektron resurs] // arXiv: fizika, matematika, informatika va boshqalar sohalarida elektron chop etish xizmati. Kornel universitetiga tegishli. 2014.arXiv:1308.0850v. URL: https://arxiv.org/pdf/1308.0850.pdf\%20(https://arxiv.org/abs/1308.0850) (kirish 12.02.2019).
10. S. Xokrayter va J. Shmidxuber. Uzoq qisqa muddatli xotira. Nerv
Hisoblash, 9 (8): 1735–1780, 1997.
11. I. Sutskever, J. Martens va G. Xinton. Takrorlanuvchi matn yaratish
neyron tarmoqlari. ICMLda, 2011 yil.
12. IAM Onlayn maʼlumotlar bazasi [Elektron resurs]: URL: http://www.fki.inf.unibe.ch/databases/iam-on-line-handwriting-database
(kirish sanasi: 21.02.2019).
13. E. Indermuhle, M. Liwicki, X. Bunke. IAMonDo-ma'lumotlar bazasi: bir xil bo'lmagan tarkibga ega onlayn qo'lda yozilgan hujjatlar ma'lumotlar bazasi [Elektron resurs]: http://www.fki.inf.unibe.ch/databases/iam-online-
document-database/das10db.pdf (21/02/2019 foydalanish mumkin).
14. M. Livicki va X. Bunke. AM-OnDB - doskadagi qo'lda yozilgan matndan olingan onlayn inglizcha jumlalar bazasi: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.329.9970&rep=rep1&type=pdf
(kirish sanasi: 21.02.2019).
15. Kristofer Bonnett. Edvard, Keras va TensorFlow bilan aralash zichlik tarmoqlari [Elektron resurs]: http://cbonnett.githhttp://
cbonnett.github.io/MDN_EDWARD_KERAS_TF.htmlub.io/MDN_EDWARD_KERAS_TF.html (kirish 21/02/2019).
16. eBeam Software [Elektron resurs]: http://
www.e-beam.com/rs/support/downloads/ebeam-software/interactive-suite-3.html
(kirish sanasi: 19.01.2019).