Innovatsiyalar vazirligi mirzo ulugʻbek nomidagi oʻzbekiston milliy universitetining jizzax

Qiyinchiliklar
ANN-da bo‘lgani kabi, sodda o‘qitilgan DNN-larda ham ko‘p muammolar paydo bo‘lishi mumkin. Ikkita keng tarqalgan muammo - ortiqcha moslama va hisoblash vaqti.
DNN-lar o‘quv ma’lumotlaridagi noyob bog'liqliklarni modellashtirishga imkon beruvchi qo‘shimcha mavhum qatlamlari tufayli haddan tashqari moslashishga moyil. Ivaxnenkoning birligini kesish yoki vaznning pasayishi kabi tartibga solish usullari yoki siyraklik mashg'ulotlar paytida haddan tashqari moslashishga qarshi kurashda qo‘llanilishi mumkin. Shu bilan bir qatorda tashlab ketishni tartibga solish mashg'ulot vaqtida yashirin qatlamlardan birliklarni tasodifiy chiqarib tashlaydi. Bu noyob bog'liqliklarni istisno qilishga yordam beradi. Nihoyat, maʼlumotlarni kesish va aylantirish kabi usullar yordamida toʻldirish mumkin, shunday qilib kichikroq oʻquv toʻplamlari oʻlchamini oshirib, haddan tashqari moslashish ehtimolini kamaytirish mumkin.
DNNlar o‘lcham (qatlamlar soni va har bir qatlamdagi birliklar soni), o‘rganish tezligi va dastlabki og'irliklar kabi ko‘plab o‘quv parametrlarini hisobga olishlari kerak . Optimal parametrlar uchun parametrlar maydoni bo‘ylab ko‘rib chiqish vaqt va hisoblash resurslari xarajati tufayli amalga oshirilmasligi mumkin. Har xil nayranglar, masalan, to‘plamlar (alohida misollar emas, bir vaqtning o‘zida bir nechta o‘quv misollari bo‘yicha gradientni hisoblash) hisoblashni tezlashtiradi. Ko‘p yadroli arxitekturalarning (masalan, GPU yoki Intel Xeon Phi kabi) katta qayta ishlash imkoniyatlari matritsalar va vektorli hisoblashlar uchun bunday qayta ishlash arxitekturalarining mosligi tufayli o‘qitishda sezilarli tezlashdi.Shu bilan bir qatorda, muhandislar yanada sodda va konvergent o‘qitish algoritmlari bilan boshqa turdagi neyron tarmoqlarni izlashlari mumkin. CMAC ( serebellar model artikulyatsiya boshqaruvchisi ) ana shunday neyron tarmoqlardan biridir. Bu CMAC uchun o‘rganish stavkalari yoki tasodifiy boshlang'ich og'irliklarni talab qilmaydi. O‘quv jarayoni ma’lumotlarning yangi to‘plami bilan bir bosqichda birlashishi kafolatlanishi mumkin va o‘quv algoritmining hisoblash murakkabligi jalb qilingan neyronlar soniga nisbatan chiziqli.