Mashinali o’qitishga kirish fanidan mustaqil ish mavzu: Rekkurent neyron tarmoqlari Bajardi: 022-19 guruh: Xurramov Jasurbek Tekshirdi: Jurayev. U

Rekursiv

Rekursiv neyron tarmog'i bir xil og'irliklar to'plamini differensiallanuvchi grafik tuzilmaga rekursiv ravishda qo'llash orqali tuzilmani topologik tartibda kesib o'tish orqali yaratiladi . Bunday tarmoqlar odatda avtomatik farqlashning teskari rejimida ham o'qitiladi . Ular mantiqiy atamalar kabi strukturaning taqsimlangan tasvirlarini qayta ishlashlari mumkin . Rekursiv neyron tarmoqlarning alohida holati bu RNN, uning tuzilishi chiziqli zanjirga mos keladi. Rekursiv neyron tarmoqlari tabiiy tilni qayta ishlashda qo'llanilgan. Rekursiv neyron tensor tarmog'i daraxtdagi barcha tugunlar uchun tensorga asoslangan kompozitsiya funksiyasidan foydalanadi.

Neyron tarix kompressori 

Neyron tarixi kompressori RNNlarning nazoratsiz to'plamidir. Kirish darajasida u oldingi kirishlardan keyingi kiritishni bashorat qilishni o'rganadi. Ierarxiyadagi ba'zi RNN ning faqat oldindan aytib bo'lmaydigan kirishlari keyingi yuqori darajadagi RNNga kirishga aylanadi, shuning uchun u o'zining ichki holatini kamdan-kam hollarda qayta hisoblaydi. Shunday qilib, har bir yuqori darajadagi RNN quyidagi RNNdagi ma'lumotlarning siqilgan ko'rinishini o'rganadi. Bu shunday amalga oshiriladiki, kirish ketma-ketligi eng yuqori darajadagi vakillikdan aniq qayta tiklanishi mumkin.
Tizim tavsif uzunligini yoki ma'lumotlar ehtimolining salbiy logarifmini samarali ravishda kamaytiradi. Kiruvchi maʼlumotlar ketma-ketligida juda koʻp oʻrganish mumkin boʻlgan bashoratlilikni hisobga olgan holda, eng yuqori darajadagi RNN muhim voqealar orasidagi uzoq intervallarga ega boʻlgan chuqur ketma-ketliklarni ham osonlik bilan tasniflash uchun nazorat ostida oʻrganishdan foydalanishi mumkin.
RNN ierarxiyasini ikkita RNNga ajratish mumkin: "ongli" chunker (yuqori daraja) va "ongsiz" avtomatizator (pastki daraja). Chunker avtomatizator tomonidan oldindan aytib bo'lmaydigan kirishlarni bashorat qilishni va siqishni o'rgangach, avtomatizatorni keyingi o'rganish bosqichida sekinroq o'zgaruvchan chunkerning yashirin birliklarini qo'shimcha birliklar orqali bashorat qilishga yoki taqlid qilishga majburlash mumkin. Bu avtomatizatorga mos keladigan, kamdan-kam o'zgaruvchan xotiralarni uzoq vaqt oralig'ida o'rganishni osonlashtiradi. O'z navbatida, bu avtomatizatorga o'zining bir paytlar oldindan aytib bo'lmaydigan ko'pgina kirishlarini oldindan aytish mumkin bo'lishiga yordam beradi, shuning uchun chunker qolgan oldindan aytib bo'lmaydigan hodisalarga e'tibor qaratishi mumkin.
Generativ model 1992 yilda neyron tarmoqlarda avtomatik differentsiatsiya yoki orqaga tarqalishning yo'qolib borayotgan gradient muammosini qisman yengib chiqdi . 1993 yilda bunday tizim RNNda 1000 dan ortiq keyingi qatlamlarni talab qiladigan "Juda chuqur o'rganish" vazifasini hal qildi.