Amaliy mashg’ulot №8. Vlsi fpga uchun matlab yordamida sun'iy neyron tarmoqlarni loyihalash Ishning maqsadi

8.2. Neyron tarmoqlarini(NT) o’rgatib trening qilish.
Neyron tarmoqlarini o'rgatish - bu neyron tarmoq parametrlari ushbu tarmoq joylashtirilgan muhitni taqlid qilish orqali to'g'rilash jarayonidir. O'qitish turi parametrlarni sozlash yo'li bilan belgilanadi. O'qituvchi bilan va o'qituvchisiz o'rganish algoritmlarini farqlang. Nazorat ostida o'qitish - bu tarmoqqa o'quv misollari namunasini taqdim etishdir. Har bir namuna tarmoqning kirishiga beriladi, keyin u NT strukturasida qayta ishlanadi, tarmoqning chiqish signali hisoblab chiqiladi, bu maqsadli javob vektorning mos keladigan qiymati bilan taqqoslanadi, agar xatolik bo’sa uni kamaytirishga uo’naltirilgan tarmoqning og’irlik va siljish koeffisientlari qayta hisoblab chiqiladi.
Matematik jihatdan NT o'rgatish jarayonini quyidagicha ta'riflash mumkin. NT ishlash jarayonini Y = G (X) funktsiyasi asosida ishlab Y chiqish signalini hosil qiladi. Agar tarmoq arxitekturasi aniqlangan bo'lsa, u holda G funktsiyasining shakli sinaptik og'irliklar va siljitish(surish) qiymatlari bilan belgilanadi.
Mayli Y = F (X) funktsiyasi, kirish-chiqish juftliglari ma'lumotlari (X1, Y1), (X2, Y2), ..., (XN, YN) bilan berilgan biror bir masalaning Yk = F(Xk) (k = 1, 2, …, N) echimi bo'lsin. Unda o'qitish bu, ba'zi xato E funktsiyasi chegarasida, F ga yaqin bo'lgan G funktsiyani topishdan (sintez qilishdan) iboratdir.
Agar o’rgatuvchi juftliklar (XN, YN) (bu erda k = 1, 2, ..., N) to'plami tug’ri tanlansa va E xato funktsiyasini hisoblash usuli bo'lsa, neyron tarmog'ini o'rgatish ko'p o'lchovli optimallashtirish muammosiga aylanadi. Umuman olganda, E funktsiyasi ixtiyoriy shaklga ega bo'lishi mumkin ekanligini hisobga olsak, bu juda katta o'lchamli, ko'p qirrali optimallashtirish muammosidir.
Bu muammoni hal qilish uchun quyidagi (takrorlanuvchi-iteratsion) algoritmlarning biridan foydalanish mumkin:
1. Birinchi darajali xususiy hosila hisoblash bilan lokal optimallashtirish algoritmlari:
• gradient algoritmi (eng keskin tushish usuli),
• antigradiyent yo'nalishi bo'yicha maqsad funktsiyasini bir o'lchovli va ikki o'lchovli optimallashtirish usullari;
• birlashtirilgan gradient usuli,
• algoritmning bir necha bosqichlarida antigradiyent yo'nalishini hisobga oladigan usullar;
2. Birinchi va ikkinchi darajali xususiy hosila hisoblash bilan mahalliy optimallashtirish algoritmlari:
• Nyuton usuli,
• siyrak Gessa matritsalari bilan optimallashtirish usullari,
• kvazi-Nyuton usullari,
• Gauss-Nyuton usuli,
• Levenberg-Markard usuli va boshqalar;
3. Stoxastik optimallashtirish algoritmlari:
• tasodifiy yo'nalishda qidirish,
• tavlanishga taqlid,
• Monte -Karlo usuli (statistik testlarning sonli usuli);
4. Global optimallashtirish algoritmlari (global optimallashtirish muammolari maqsad funktsiyasi bog'liq bo'lgan o'zgaruvchilar qiymatlarini sanash orqali hal qilinadi).