Sun’iy intelekt va neyron to’rli texnologiyalar fanidan

Mustaqil ravishda RNN (IndRNN).Mustaqil ravishda takrorlanadigan neyron tarmoq (IndRNN) an'anaviy to'liq bog'langan RNN-dagi yo'qolgan va portlovchi muammolarni hal qiladi. Bir qatlamdagi har bir neyron faqat o'zining o'tgan holatini kontekstli ma'lumot sifatida qabul qiladi (bu qatlamdagi boshqa barcha neyronlarga to'liq bog'lanish o'rniga) va shu bilan neyronlar bir-birlarining tarixidan mustaqil bo'lishadi. Uzoq yoki qisqa muddatli xotirani saqlab qolish uchun gradient yo'qolishi va portlashiga yo'l qo'ymaslik uchun gradient backpropagation tartibga solinishi mumkin. O'zaro faoliyat neyronlar haqidagi ma'lumotlar keyingi qatlamlarda o'rganiladi. IndRNN ReLU kabi to'yinmagan chiziqli bo'lmagan funktsiyalar bilan mustahkam tarzda o'qitilishi mumkin. Skip-ulanishlar yordamida chuqur tarmoqlarni o'rgatish mumkin.
Rekursiv neyron tarmoq
A rekursiv neyron tarmoq bir xil og'irlik to'plamini qo'llash orqali yaratiladi rekursiv ichida strukturani bosib o'tish orqali farqlanadigan grafikka o'xshash struktura ustida topologik tartib. Bunday tarmoqlar odatda teskari rejimda o'qitiladi avtomatik farqlash. Ular qayta ishlashlari mumkin tarqatilgan vakolatxonalar kabi tuzilish mantiqiy atamalar. Rekursiv neyron tarmoqlarining alohida holati - bu RNN, uning tuzilishi chiziqli zanjirga to'g'ri keladi. Rekursiv neyron tarmoqlari qo'llanildi tabiiy tilni qayta ishlash. Rekursiv nerv-Tensor tarmog'ida a tensor - daraxtdagi barcha tugunlarga asoslangan kompozitsion funktsiya.
Nerv tarixidagi kompressor - bu RNNlarning nazoratsiz to'plami. Kirish darajasida u avvalgi kirishlardan keyingi kiritishni bashorat qilishni o'rganadi. Ierarxiyadagi ba'zi bir RNNlarning faqat oldindan aytib bo'lmaydigan kiritmalari keyingi yuqori darajadagi RNN-ning kirish qismiga aylanadi, shuning uchun uning ichki holati kamdan-kam hollarda hisoblab chiqiladi. Shunday qilib, har bir yuqori darajadagi RNN quyidagi RNNdagi ma'lumotlarning siqilgan ko'rinishini o'rganadi. Bu kirish ketma-ketligini eng yuqori darajadagi vakolatxonadan aniq qayta tiklashi uchun amalga oshiriladi.
Tizim tavsif uzunligini yoki minusni minimallashtiradi logaritma ma'lumotlarning ehtimolligi. Kiruvchi ma'lumotlar ketma-ketligida juda ko'p o'rganiladigan prognozni hisobga olgan holda, eng yuqori darajadagi RNN nazorat qilinadigan ta'limdan foydalanib, hatto muhim voqealar orasidagi uzoq vaqt oralig'idagi chuqur ketma-ketlikni tasniflashi mumkin. RNN iyerarxiyasini ikkita RNNga distillash mumkin: "ongli" chunker (yuqori daraja) va "bilinçaltı" avtomatizator (pastki daraja). Chunker avtomatizator tomonidan oldindan aytib bo'lmaydigan kirishni bashorat qilishni va siqishni o'rgangandan so'ng, avtomatizator keyingi o'quv bosqichida sekinroq o'zgarib turadigan chunkerning yashirin bo'linmalarini qo'shimcha birliklar orqali bashorat qilishga yoki taqlid qilishga majbur qilinishi mumkin. Bu avtomatizatorga mos keladigan, kamdan-kam o'zgaruvchan xotiralarni uzoq vaqt oralig'ida o'rganishni osonlashtiradi. O'z navbatida, bu avtomatizatorga bir vaqtlar oldindan aytib bo'lmaydigan kirishlar ko'pini bashorat qilishda yordam beradi, shunda chunker qolgan kutilmagan hodisalarga e'tibor qaratishi mumkin.
A generativ model qisman engib chiqdi yo'qolib borayotgan gradyan muammosi ning avtomatik farqlash yoki orqaga targ'ib qilish 1992 yilda neyron tarmoqlarda. 1993 yilda bunday tizim "Juda chuqur o'rganish" vazifasini hal qildi, bu o'z vaqtida ochilgan RNNda 1000 dan ortiq keyingi qatlamlarni talab qildi.