16-amaliy ish. Miyadan meros olgan neyr tarmoqlarning xususiyatlari

evristik usullar.Neyron tarmoqlarni o'qitish usullarining keyingi guruhi evristik deb ataladi. Ushbu usullar qat'iy nazariy asosga ega emas, lekin ular mualliflarning neyron tarmoqlari texnologiyalari sohasidagi shaxsiy tajribasini aks ettiradi. Misol sifatida, elastik orqaga tarqalish usulini ko'rib chiqing (RPROP algoritmi Resilent back Propagation-dan olingan). Ushbu algoritmga ko'ra, vazn koeffitsientlarini sozlashda faqat gradientning tegishli komponentining belgisi hisobga olinadi va gradient qiymatining o'zi hisobga olinmaydi:
,
qaerda Sij ∂
O'rganish stavkalari evristik formula yordamida hisoblanadi
1,2ēij(t−biri), agarSij(t)×Sij(t−1) > 0 ; ēij(t) = 0,5ē_ij(t−biri), agarSij(t)×Sij(t−1) < 0 ;
ēij(t−biri), agarSij(t)×Sij(t−1) = 0.
Shunday qilib, usulning g'oyasi shaklda geometrik talqin qilingan. 6.5 - har bir vazn koeffitsienti uchun o'rganish koeffitsienti keyingi ikki bosqichda gradient belgisi teskari bo'lgunga qadar ortadi. Gradient belgisi o'zgargan taqdirda o'rganish koeffitsienti 2 marta kamayadi. Bundan tashqari, algoritm mualliflari o'rganish koeffitsientlarining o'sishini ēmax = 50 soniga va uning kamayishi ēmin = 10 soniga cheklagan.⁻⁶.
Ko'rib turganingizdek, intuitiv darajada tushunarli bo'lgan asosiy g'oyaga qo'shimcha ravishda, RPROP evristik algoritmida to'rtta empirik parametr mavjud.
gradient bo'lmagan usullar.Maqsad funktsiyasining hosilalarini hisoblashni talab qilmaydigan va shuning uchun gradient bo'lmagan deb ataladigan usullar guruhi mavjud. Bunday usullarda faqat alohida nuqtalardagi maqsad funktsiyasining qiymatlari to'g'risidagi ma'lumotlardan foydalaniladi, buning asosida ekstremal qidiruv strategiyasi quriladi. Misollar: bisektsiya usuli, oltin qism usuli, Fibonachchi usuli va boshqalar. Biroq, qoida tariqasida, gradient bo'lmagan usullar samaradorlik jihatidan gradientlardan sezilarli darajada past bo'ladi va shuning uchun neyron tarmoqlarni o'qitish uchun tavsiya etilmaydi.
Hozirgi vaqtda perseptronlarni o'rgatish bilan bog'liq asosiy muammo shundaki, xato funksiya yuzasi odatda ko'plab mahalliy minimallarga ega bo'lgan juda murakkab shaklga ega (6.6-rasm). Shuning uchun yuqoridagi barcha usullar ko'pincha o'rganishning boshlang'ich nuqtasi yaqinida joylashgan mahalliy minimallardan biriga olib keladi. Agar bunday minimal topilgandan so'ng, o'rganish xatosi

2-rasm.Geometrik talqin 6.6. RPROP xato tarqalishi yuzasida elastik teskari-minimal algoritmiga global va mahalliy ilovalarneyron tarmoq qoniqarsiz deb topiladi, keyin tarmoq "silkitadi", og'irlik koeffitsientlari tasodifiy o'sishlarni beradi va o'quv jarayoni boshqa nuqtadan davom ettiriladi.
Ko'pincha o'quv jarayoni uzoq muddatli eksperiment xarakterini oladi, uning davomida turli xil optimallashtirish algoritmlari turli parametrlar bilan sinab ko'riladi. Natijada, neyron tarmoq texnologiyalarini qo'llash muvaffaqiyati mutaxassisning tajribasi va sezgisiga, uning ixtiyorida bo'lgan turli xil optimallashtirish algoritmlarining miqdori va sifatiga bog'liq bo'ladi. Shu munosabat bilan global optimallashtirish usullarini, ya'ni multiekstremal maqsad funktsiyalarining global ekstremallarini topishga imkon beradigan usullarni ishlab chiqish dolzarbdir. Ushbu muammoni hal qilishning ko'plab mumkin bo'lgan yondashuvlari orasida genetik algoritmlar eng istiqbolli deb tan olingan.