14 mavzu. Neyron tarmoqni o’qitish masalasi. Neyron tarmoq aniqligini oshirish yo’llari. Reja

Teskari tarqalishli aloqa usuli (TTA) nima? Shunday qilib, biz sizning neyron tarmog'ingiz to'g'ri o'rganishi va to'g'ri qaror qabul qilishi uchun qanday qilib ishonch hosil qilishni muhokama qilish nuqtasiga keldik. TTA ushbu 14.6-rasmda juda yaxshi ko'rsatiladi:

14.6-rasm. Teskari tarqalishli aloqa usuli.
Endi har bir bosqichni batafsil ko'rib chiqamiz. Yuqorida biz to’g’ri tarqalishli aloqani ko'rib chiqqan edik. Bunda biz ketma-ket ma'lumotlarni kirish neyronlaridan chiqish neyronlariga uzatamiz. Shundan so'ng, biz xatoni hisoblab chiqamiz va unga asoslanib, orqaga qaytish qilamiz, bu neyron tarmog'ining vaznini ketma-ket o'zgartirish neyronning chiqish vaznidan boshlanadi. Vaznlar qiymatlari eng yaxshi natija beradigan teskari yo'nalish bo’yicha o'zgaradi. Bunda deltani topish usulidan foydalanish qulay, chunki bu eng sodda va tushunarli usul. Vaznlarni yangilashning stoxastik usulidan ham foydalanish mumkin (buni keyinroq ko’rib chiqamiz).
Biz yuqorida NT to’g’ri tarqalishi natijasini va uning xatosini hisoblab chiqqanimiz uchun darhol teskari tarqalishli NTga o'tishimiz mumkin. Avval aytib o'tganimdek, algoritm har doim chiqish neyronidan boshlanadi. Bu holda, (14.3) formuladan foydalanib, uning uchun δ (delta) qiymatini hisoblaymiz.
(14.3)
Chiqish neyronida chiquvchi sinapslar bo'lmaganligi sababli biz birinchi formuladan foydalanamiz (δ chiqish), shuning uchun yashirin neyronlar uchun biz allaqachon ikkinchi formulani (δ yashirin) olamiz. Bu erda biz kerakli va olingan natija o'rtasidagi farqni hisoblaymiz va uni berilgan neyronning kirish qiymatidagi faollashuv funksiyasining hosilasiga ko'paytiramiz. Hisoblashlarni boshlashdan oldin, e'tiborni hosilaga qaratamiz. Birinchidan, teskari tarqalishli aloqalarda faqat differensiallash mumkin bo'lgan faollashtirish funksiyalaridan foydalanish kerak. Ikkinchidan, ortiqcha hisoblashlarni amalga oshirmaslik uchun, hosila formulasi shaklini yanada sodda formulasi bilan almashtirish mumkin:
(14.4)
Shunday qilib, O₁ nuqta bo'yicha hisoblashlar quyidagicha bo'ladi.
Echim. O₁ neyron uchun hisoblashlar yakunlanadi. Ta’kidlaymizki, neyronning delta qiymatini hisoblab chiqqandan so'ng, ushbu neyrondan chiqadigan barcha sinapslarining vaznlarini zudlik bilan yangilash kerak bo’ladi. Ular O₁da bo'lmaganligi sababli, yashirin darajadagi neyronlarga o’tiladi va xuddi shu jarayon amalga oshiriladi. Faqat bunda deltani hisoblash uchun (14.4) formuladan foydalaniladi. Uning mohiyati quyidagicha: neyronning kirishdagi qiymatining faollashuv funksiyasini hosilasini ushbu neyron bilan bog’langan barcha chiqishdagi vaznlar va deltalarga ko’paytmalarining yig’indisiga ko’paytirishdan iborat.
Ta’kidalymizki, teskari tarqalishli aloqalarning mohiyati chiqishlardagi neyronlarning xatosini neyron tarmog'ining barcha oldingi vaznlariga tarqatishdan iboratdir. Xatolik faqat neronning chiqishida (delta miqdor) hisoblanadi. Binobarin, endi xatolik o'rniga neyrondan neyronga o'tadigan deltadan foydalaniladi. Bunday holda H₁ uchun deltani topamiz.
Echim. Endi har bir chiquvchi sinaps uchun gradientni topishimiz kerak

Bu erda A nuqta sinaps boshidagi nuqta, B nuqta esa sinaps oxiridagi nuqta. Shunday qilib, w₅ gradyanini quyidagicha hisoblashimiz mumkin:
Echim. Endi bizda w₅ vaznini yangilash uchun barcha kerakli ma'lumotlar mavjud va biz buni teskari tarqalishli aloqa funksiyasi tufayli amalga oshiramiz, bu esa u yoki bu vaznni o'zgartirish zarur bo'lgan miqdorni hisoblab chiqadi va quyidagicha amalga oshiriladi:

Bu erda biz gradiyent tushish algoritmini ko'rib chiqishda qaralgan ikkita konstantani ko'ramiz: E (epsilon) - o'rganish tezligi, a (alfa) - moment. Formula quyidagi ma’noga ega: sinaps vaznining o'zgarishi - bu o'rganish tezligini (E) ushbu vazn gradientiga (GRAD w) ko’paytmasi va ushbu vaznning oldingi o’garishlarini (1-iteratsiyada 0 ga teng) momentga ko’paytmasini qo’shilganiga teng.
Bu holda w₅ vaznning o'zgarishini hisoblab chiqamiz va unga Δw₅ qo'shib uning qiymatini yangilaymiz.