Chuqur o'rganish usullari

Takrorlanuvchi neyron tarmoqlari: xotira yordamida ketma-ketlikni modellashtirish

Ba'zi nerv me'morchiligi elementlarni ketma-ketligini bir vaqtning o'zida bitta kirish yordamida qayta ishlashga imkon bermaydi. Masalan, bir necha oylik mahsulotni sotishda, siz savdo raqamlarini o'n ikki kirishdan foydalangan holda, har oy uchun bittasini joylashtirasiz va neyron tarmog'i ularni bir vaqtning o'zida tahlil qilishga imkon beradi. Shunday qilib, uzoqroq ketma-ketliklar mavjud bo'lganda, siz ularni ko'proq sonli kirishlardan foydalanib joylashtirishingiz kerak va sizning tarmog'ingiz juda katta bo'ladi, chunki har bir kirish boshqa kirish bilan ulanishi kerak. Siz juda ko'p ulanish bilan tavsiflangan tarmoqqa ega bo'lasiz (ko'p og'irliklarga tarjima qilinadi).
Takrorlanuvchi neyron tarmoqlari (RNN) - bu idrok va CNNlarga alternativa. Ular birinchi marta 1980-yillarda paydo bo'lgan va turli tadqiqotchilar chuqur o'rganish va hisoblash kuchlari rivojlanishi tufayli yaqinda mashhurlikka erishmaguncha ularni takomillashtirish ustida ish olib borgan. RNN-larning g'oyasi oddiy: ular ketma-ketlikning har bir elementini bir marta ko'rib chiqadilar va ketma-ketlikdagi keyingi elementni ko'rib chiqishda uni qayta ishlatishlari uchun uning xotirasini saqlab qolishadi. Matnni o'qiyotganda odamning aqli qanday ishlaydi: bir kishi xatni harf bilan o'qiydi, lekin so'zdagi har bir harfni eslab so'zlarni tushunadi. Shunga o'xshash tarzda, RNN, olingan harflarning ketma-ketligini eslab, natijani so'z bilan bog'lashi mumkin. Ushbu uslubning kengaytirilishi RNNdan iboraning ijobiy yoki salbiy ekanligini aniqlashni talab qiladi - keng tarqalgan tahlil deb ataladi tuyg'ularni tahlil qilish. Tarmoq ijobiy yoki salbiy javobni o'quv misollarida ko'rgan ba'zi so'z ketma-ketliklariga bog'laydi.Siz RNN-ni neyron birlik sifatida tasvirlaysiz (shuningdek a sifatida tanilgan) hujayra) kirishni chiqish bilan bog'laydi, lekin o'zi bilan ham ulanadi. Bu o'z-o'zini ulanish tushunchasini anglatadi takrorlanish, ma'lum bir natijaga erishgunga qadar o'zi uchun qo'llaniladigan funktsiya. Rekursiyaning eng ko'p ishlatiladigan misollaridan biri bu faktorialni hisoblashdir. Quyidagi rasmda so'z yaratish uchun harflar ketma-ketligidan foydalanib, ma'lum bir RNN namunasi ko'rsatilgan jazz. Quyidagi rasmning o'ng tomonida RNN blokini qabul qilish vakili tasvirlangan jazz kirish sifatida, lekin aslida chapda ko'rsatilgandek faqat bitta birlik mavjud. Ushbu rasm chap tomondagi rekursiv katakchani ko'rsatadi va uni so'zning bitta harflarini oladigan birliklar qatori sifatida kengaytiradi. jazz o'ngda. Bu bilan boshlanadi j, keyin boshqa harflar. Ushbu jarayon sodir bo'lganda, RNN chiqish chiqaradi va uning ichki parametrlarini o'zgartiradi. Ichki parametrlarini o'zgartirib, birlik olingan ma'lumotlardan va oldingi ma'lumotlarning xotirasidan o'rganadi. Ushbu o'rganish yig'indisi RNN katakchasining holati. Neyron tarmoqlarni muhokama qilayotganda, siz og'irliklar haqida ko'plab munozaralarni eshitasiz. RNN-lar bilan siz atamaning holatini ham bilishingiz kerak. Og'irliklar RNN-ga kirishni qayta ishlashga yordam beradi, ammo shtat hozirgacha RNN ko'rgan ma'lumotlarning izlarini o'z ichiga oladi, shuning uchun davlat RNN-ning ishlashiga ta'sir qiladi. Holat - bu ketma-ketlikni tugatgandan so'ng tiklanadigan qisqa muddatli xotira turi. RNN xujayrasi ketma-ketlikni olgandan so'ng, u quyidagilarni bajaradi:

1. 
   Ularni qayta ishlaydi, har bir kirish bilan holatni o'zgartiradi.
   
2. 
   Chiqish chiqaradi.
   
3. 
   So'nggi natijani ko'rganingizdan so'ng, RNN orqa ekranni orqaga surish orqali kirishni to'g'ri chiqishdagi xaritalash uchun eng yaxshi vaznlarni o'rganadi.