Akbarov Sardorbekning "Sun’iy intellekt va neyron to’rli texnologiyalar"

Gate recurrent unit

Gate recurrent unit
Gate recurrent birliklari (GRU) - bu kirish mexanizmi takrorlanadigan neyron tarmoqlari Ular to'liq shaklda va bir nechta soddalashtirilgan variantlarda qo'llaniladi. Ularning polifonik musiqa modellashtirish va nutq signallarini modellashtirish bo'yicha ishlashi uzoq muddatli xotiraga o'xshashligi aniqlandi. Ular LSTM ga qaraganda kamroq parametrlarga ega, chunki ular chiqish eshigiga ega emaslar.Ikki yo'nalishli RNNlar elementning o'tmishi va kelajakdagi kontekstiga asoslanib ketma-ketlikning har bir elementini bashorat qilish yoki belgilash uchun cheklangan ketma-ketlikni qo'llaydi. Bu ikkita RNNning chiqishlarini birlashtirish orqali amalga oshiriladi, biri ketma-ketlikni chapdan o'ngga, ikkinchisi o'ngdan chapga ishlov beradi. Birlashtirilgan natijalar o'qituvchi tomonidan berilgan maqsad signallarining bashoratidir. Ushbu uslub, ayniqsa LSTM RNN bilan birlashganda foydali ekanligi isbotlangan.

• 
  RNNlarni o'qitish uchun eng keng tarqalgan global optimallashtirish usuli bu genetik algoritmlar, ayniqsa, tuzilmagan tarmoqlarda. Dastlab, genetik algoritm neyron tarmoq og'irliklari bilan oldindan belgilangan tartibda kodlangan, bu erda bitta gen xromosoma bitta og'irlik havolasini ifodalaydi. Butun tarmoq bitta xromosoma sifatida ifodalanadi. Fitnes funktsiyasi quyidagicha baholanadi:
  
• 
  Xromosomada kodlangan har bir vazn tarmoqning tegishli vazn zvenosiga biriktirilgan.
  
• 
  O'quv to'plami kirish signallarini oldinga yoyadigan tarmoqqa taqdim etiladi.
  
• 
  O'rtacha kvadratik xatolik fitness funktsiyasiga qaytariladi.
  
• 
  Ushbu funktsiya genetik selektsiya jarayonini boshqaradi.
  
• 
  Ko'p xromosomalar populyatsiyani tashkil qiladi; shuning uchun to'xtash mezonlari qondirilguncha ko'plab turli xil asab tarmoqlari rivojlanib boradi. Umumiy to'xtatish sxemasi:
  
• 
  Neyron tarmoq o'quv ma'lumotlarining ma'lum bir foizini o'rganganida yoki
  

Qachon o'rtacha kvadrat-xatoning minimal qiymati qondiriladi yoki O'qitish avlodlarining maksimal soniga erishilganda. To'xtash mezonlari fitnes funktsiyasi bilan baholanadi, chunki u mashg'ulotlar davomida har bir tarmoqdan o'rtacha kvadratik xatoning o'zaro javobini oladi. Shuning uchun genetik algoritmning maqsadi fitnes funktsiyasini maksimal darajaga ko'tarish, o'rtacha kvadrat-xatolikni kamaytirishdir.
Og'irlikning yaxshi to'plamini izlash uchun boshqa global (va / yoki evolyutsion) optimallashtirish usullaridan foydalanish mumkin simulyatsiya qilingan tavlanish yoki zarrachalar to'dasini optimallashtirish.