16-amaliy ish. Miyadan meros olgan neyr tarmoqlarning xususiyatlari

NAZORAT SAVOL VA VAZIFALAR

1. 
   DA Qanday iborat jarayon dizayn perseptronlar?
   
2. 
   Qanday berilgan miqdori neyronlar kiritish qatlam perseptron?
   
3. 
   Perseptronning chiqish qatlamidagi neyronlar soni qanday o'rnatiladi?
   
4. 
   Perseptronning yashirin qatlamlaridagi neyronlar soni qanday o'rnatiladi?
   
5. 
   Muammoning qaysi parametrlari perseptronning yashirin qatlamlaridagi neyronlarning optimal sonini aniqlaydi?
   
6. 
   Qanday berilgan ko'rinish faollashtirish neyronlarning vazifalari?
   
7. 
   Qanday boshqacha xato o'rganish dan xatolar sinov?
   
8. 
   Perseptronning yashirin qatlamlaridagi neyronlar soniga nisbatan ikkala xatoning taxminiy chizmalarini tuzing.
   
9. 
   Perseptronning yashirin qatlamlarida neyronlar sonining haddan tashqari kamayishiga qanday kiruvchi oqibatlar olib kelishi mumkin?
   
10. 
    Perseptronning yashirin qatlamlarida neyronlarning haddan tashqari ko'payishiga qanday kiruvchi oqibatlar olib kelishi mumkin?
    
11. 
    Perseptronning yashirin qatlamlaridagi neyronlar soni amalda qanday tanlanadi?
    
12. 
    Nega neyron tarmog'ining sifatini eng ob'ektiv baholashni tasdiqlash misollari bo'yicha hisoblangan xato?
    
13. 
    Neyron tarmoqlar nazariyasi nuqtai nazaridan tez-tez uchraydigan haqiqatni tushuntirishga harakat qiling - hayotdagi "yutqazuvchilar" va "uchlik" a'lochi talabalardan yaxshiroqdir.
    

19-AMALIY ISH. NEYR TARMOQLARINI O'QITISH USULLARI.
Yuqorida aytib o'tilganidek, orqaga tarqalish algoritmining ixtirosi ko'p qatlamli perseptronni keng amaliy qo'llash uchun yo'l ochdi. Biroq, ilmiy tadqiqotlar jabhasining kengayishi bilan bu algoritmning kamchiliklari ham aniqlandi.
Gradientni tushirish usuli.Avvalo, shuni ta'kidlaymizki, orqaga tarqalish algoritmi o'zining dastlabki taqdimotida optimallashtirish nazariyasining eng yaxshi usulidan uzoq bo'lgan gradient tushish usulini amalga oshirdi. Bu nazariya ba'zi bir maqsad funktsiyasi (funktsional) ning minimalini topishga qaratilgan e,

1-rasm.Gradient tushish usuli yordamida e = e(w) funksiyaning minimalini topish
w = [w1, w2, vektor sifatida ifodalangan bir nechta o'zgaruvchilarga bog'liq. . ., wn]T . Ko'p qatlamli perseptronni o'rgatishda maqsad funktsiyasi e - (4.14) formula bo'yicha hisoblangan perseptronning kvadratik xatosi va w - neyronlararo bog'lanishlarning sinaptik og'irliklari vektori.
Gradient tushish usuliga ko'ra e = e(w) funktsiyaning minimalini topish jarayonini quyidagicha ifodalash mumkin. Xato yuzasida tasodifiy berilgan ba'zi bir nuqtada (6.4-rasm) eng tez tushish yo'nalishi (anti-gradient) topiladi, so'ngra qiyalikning (gradient) tikligiga proportsional masofaga bir qadam pastga tushadi. o'rganish tezligi koeffitsienti ē. Yangi nuqtada antigradientning yo'nalishi va kattaligi yana aniqlanadi, unga ko'ra keyingi harakat amalga oshiriladi va hokazo.
Funksiya gradienti tushunchasidan foydalanadigan optimallashtirish usullari gradient optimallashtirish usullari deb ataladi. Kvazi-Nyuton deb ataladigan usullar guruhi mavjud bo'lib, unda birinchi hosilalardan tashqari maqsad funksiyaning ikkinchi hosilalari ham qo'llaniladi, ya'ni xato funksiya gradientidan tashqari uning egriligi ham hisobga olinadi. hisob.
Neyron tarmoqlarni o'qitishning barcha usullarida tanlangan optimallashtirish yo'nalishi bo'yicha qadam uzunligini aniqlaydigan ē parametrini tanlash muammosi mavjud. Eng oddiy usul - butun mashg'ulot davri uchun ē ning doimiy qiymatlarini belgilash. Bunday holda, ē qiymatini perseptronning har bir qatlami uchun alohida, masalan, empirik formulaga muvofiq belgilash tavsiya etiladi [41, 54].
, (bitta)
bu erda ni raqam kirishlarith neyron ichida qatlam.
Boshqa usullar formula bo'yicha hisoblangan ob'ektiv xato funksiya e harakatiga qarab o'qitish jarayonida ē ning dinamik o'zgarishini nazarda tutadi. Tezroq yaqinlashish uchun ē koeffitsienti xato funksiyasi kamayishi bilan ortib boradi, lekin uning sezilarli darajada oshishiga yo'l qo'ymaydi.