Тип шаблона

1.2 Orqaga tarqalish algoritmi

Neyron tarmoqlarning eng keng tarqalgan turlaridan biri bu ko'p qatlamli tuzilish bo'lib, unda ixtiyoriy qatlamning har bir neyroni oldingi qatlam neyronlarining barcha aksonlari bilan yoki birinchi qatlam holatida neyron tarmoqning barcha kirishlari bilan bog'langan. Bunday neyron tarmoqlar to'liq bog'langan deb ataladi.

Bunday tuzilmalar uchun qo'llaniladigan teskari tarqalish algoritmi xato signallarini neyron tarmoqning chiqishlaridan uning kirishlariga, normal ish rejimida signallarning oldinga tarqalishiga teskari yo'nalishda tarqalishidan iborat. Ushbu neyron tarmog'ini o'qitish protsedurasi orqaga tarqalish algoritmi deb ataladi.
Eng kichik kvadratlar usuliga ko'ra, minimallashtiriladigan neyron tarmoq xatosining maqsad funktsiyasi


(4)

Qayerda - p-chi tasvir uning kirishlariga berilganda neyron tarmoqning n chiqish qatlami j neyronining real chiqish holati;

- bu neyronning ideal (istalgan) chiqish holati^vi.
Yig'ish chiqish qatlamining barcha neyronlari va neyron tarmog'i tomonidan qayta ishlangan barcha tasvirlar bo'ylab amalga oshiriladi. Minimallashtirish gradient tushish usuli yordamida amalga oshiriladi, bu og'irlik koeffitsientlarini sozlashni anglatadi:


(5)

Qayerda n-1 qavatning i-neyronini n-qatlamning j-neyroni bilan bog‘lovchi sinaptik bog‘lanishning og‘irlik koeffitsienti, h - o‘rganish tezligi koeffitsienti, 0 < h < 1.

(6)

Bu erda yj - j neyronining chiqishi, sj - uning kirish signallarining vaznli yig'indisi, ya'ni. faollashtirish funktsiyasi argumenti.

dyj/dsj omili bu funksiyaning argumentiga nisbatan hosilasi bo'lgani uchun, demak, faollashtirish funksiyasining hosilasi butun x o'qi bo'yicha aniqlanishi kerak. Shuning uchun, birlik sakrash funktsiyasi va heterojenlik bilan boshqa faollashtirish funktsiyalari ko'rib chiqilayotgan neyron tarmoqlar uchun mos emas. Qoida tariqasida giperbolik tangens yoki eksponentli klassik sigmasimon funktsiya kabi silliq funktsiyalar qo'llaniladi. Giperbolik tangens holatida


(7)

Uchinchi multiplikator ¶ oldingi qatlam neyronining chiqishiga teng

Birinchi omil (2.7) quyidagicha kengaytiriladi:


(8)

bu yerda n+1 qavatdagi neyronlar orasida k ustidan yig‘indi amalga oshiriladi.

Keling, o'zgaruvchini kiritamiz


(9)

Keyin miqdorlarni hisoblash uchun rekursiv formulani olamiz qatlam n

miqdorlardan eski qatlam n+1.


(10)

Chiqish qatlami uchun

(o'n bir)

Biz (5) kengaytirilgan shaklda yozamiz:

(12)

Og'irlikni to'g'rilash jarayoniga inertsiya berish uchun,

maqsad funktsiyasi yuzasi bo'ylab harakatlanayotganda keskin sakrashlarni tekislash, (12) oldingi iteratsiyadagi vazn o'zgarishi qiymati bilan to'ldiriladi:


(13)


- inersiya koeffitsienti, t - joriy iteratsiya soni. Shunday qilib, orqaga tarqalish protsedurasidan foydalangan holda to'liq neyron tarmoqni o'qitish algoritmi quyidagicha tuzilgan:
1 Neyron tarmoqning normal ishlashi rejimida mumkin bo'lgan tasvirlardan birini neyron tarmog'ining kirishlariga qo'llashda, signallar kirishlardan chiqishlarga tarqalganda, signallarning qiymatlarini hisoblang.


(14)

bu yerda f sigmasimon funktsiya;

(15)


- kirish tasvir vektorining q-chi komponenti.
2 Hisoblang chiqish qatlami uchun formula (11) bo'yicha, shuningdek (12) yoki (13) formula bo'yicha vazn o'zgarishi qatlam n.
3 (10) va (13) (yoki (11) va (13)) formulalar yordamida hisoblang.
Mos ravishda Va qolgan barcha qatlamlar uchun n=N-1,.1.
4 Neyron tarmog'idagi barcha og'irliklarni sozlang

(16)

5 Agar tarmoq xatosi muhim bo'lsa, 1-bosqichga o'ting. Aks holda, mashg'ulotni yakunlang.

1-bosqichda neyron tarmoq, majoziy ma'noda aytganda, boshqalarni eslab qolar ekan, birini unutmasligi uchun neyron tarmoq barcha vakillik namunalari bilan navbatma-navbat tasodifiy tartibda taqdim etiladi (13-rasm).
Chiqish qiymati bo'lsa, o'rganish samaradorligi sezilarli darajada pasayadi da (12) nolga intiladi. Ikkilik kirish vektorlari bilan o'rtacha og'irlik koeffitsientlarining yarmi tuzatilmaydi, shuning uchun neyron chiqishining mumkin bo'lgan qiymatlari diapazoni [0; 1] [-0,5 oralig'ida siljish maqsadga muvofiqdir; +0,5], bu faollashtirish funktsiyalarini oddiy o'zgartirish orqali erishiladi, masalan: ko'rsatkichli sigmasimon funktsiya shaklga o'zgartiriladi.


(17)

Neyron tarmoq kirishlariga taqdim etilgan tasvirlar soni, u tanib olishni o'rganishi mumkin bo'lgan (neyron tarmog'ining sig'imi) haqidagi savolni ko'rib chiqing. Bitta yashirin qatlamli neyron tarmoq uchun neyron tarmoqning deterministik sig'imi Cd quyidagicha baholanadi.

(18)

Bu erda Nw - sozlanishi og'irliklar soni, Ny - chiqish qatlamidagi neyronlar soni.

Shuni ta'kidlash kerakki, ushbu ibora ma'lum cheklovlar bilan olingan. Birinchidan, Nx kirishlar soni va Nh yashirin qatlamdagi neyronlar soni Nx+Nh > Ny tengsizligini qondirishi kerak.
Ikkinchidan, Nw/Ny > 1000. Shu bilan birga, yuqoridagi baholash chegara ko'rinishidagi neyronlarning faollashuv funktsiyalariga ega neyron tarmoqlar uchun amalga oshirildi va silliq faollashtirish funktsiyalariga ega bo'lgan tarmoqlarning sig'imi odatda kattaroqdir. Bundan tashqari, sig'im nomida paydo bo'lgan "deterministik" sifatdoshi olingan quvvat bahosi Nx kirishlari bilan ifodalanishi mumkin bo'lgan mutlaqo barcha mumkin bo'lgan kirish naqshlari uchun mos ekanligini anglatadi. Kirish tasvirlarini taqsimlash, qoida tariqasida, ma'lum bir qonuniyatga ega, bu esa neyron tarmoqni umumlashtirishga va shu bilan real sig'imni oshirishga imkon beradi. Tasvirlarning taqsimlanishi, umumiy holatda, oldindan ma'lum emasligi sababli, bunday qobiliyat haqida faqat faraziy ravishda gapirish mumkin, lekin odatda u deterministik imkoniyatlardan ikki baravar yuqori.^vii.
Tasvirlarning yakuniy tasnifini amalga oshiradigan neyron tarmog'ining chiqish qatlamining o'lchami haqidagi savolni ko'rib chiqing. Kirish tasvirlari to'plamini (klassifikatsiyasini), masalan, ikkita sinfga ajratish uchun faqat bitta chiqish kifoya qiladi.



16-rasm Orqa tarqalish algoritmidan foydalangan holda neyron tarmoqni o'rgatishda signallar diagrammasi

Bunday holda, har bir mantiqiy daraja - "1" va "0" - alohida sinfni bildiradi. Ikki chiqishda 4 ta sinfni kodlash mumkin va hokazo. Biroq, bu tarzda "ko'z olmalariga" tashkil etilgan neyron tarmog'ining natijalari unchalik ishonchli emas. Tasniflashning ishonchliligini oshirish uchun chiqish qatlamidagi har bir sinfga bitta neyron yoki undan ham yaxshiroq, bir nechta neyron ajratish orqali ortiqchalikni joriy qilish maqsadga muvofiqdir, ularning har biri tasvirning o'ziga xos darajaga ega bo'lgan sinfga tegishli ekanligini aniqlashga o'rgatiladi. ishonchlilik - yuqori, o'rta yoki past, bu kirish tasvirlarini tasniflashga imkon beradi , loyqa (loyqa yoki kesishuvchi) to'plamlarga birlashtirilgan. Bu xususiyat neyron tarmoqlarni insonning tabiiy intellektiga yaqinlashtiradi.

Bunday neyron tarmoq bir nechta cheklovlarga ega. Birinchidan, o'quv jarayonida og'irlik koeffitsientlarining katta ijobiy yoki salbiy qiymatlari ko'plab neyronlarning sigmasimon funktsiyasi bo'yicha ish nuqtasini to'yinganlik hududiga o'tkazadigan vaziyat yuzaga kelishi mumkin. (10) va (11) ga muvofiq faollashtirish funktsiyasi hosilasining kichik qiymatlari neyron tarmog'ini o'qitishni to'xtatishga olib keladi. Ikkinchidan, gradient tushish usulini qo'llash maqsad funktsiyasining mahalliy emas, balki global minimumi topilishiga kafolat bermaydi. Bu muammo boshqa muammo bilan, ya'ni o'rganish tezligi koeffitsientini tanlash bilan bog'liq. Orqa tarqalishda o'rganish konvergentsiyasining isboti derivativlarga asoslanadi, ya'ni. vazn ortishi va shuning uchun o'rganish tezligi cheksiz kichik bo'lishi kerak, ammo, bu holda, o'rganish qabul qilib bo'lmaydigan darajada sekin bo'ladi. Boshqa tomondan, juda katta vaznli tuzatishlar o'quv jarayonining doimiy beqarorligiga olib kelishi mumkin. [30, c.14].
Shuning uchun koeffitsient odatda 1 dan kam, lekin juda kichik emas, masalan, 0,1 tanlanadi va u mashg'ulot vaqtida asta-sekin kamayishi mumkin. Bunga qo'shimcha ravishda, mahalliy minimallarda tasodifiy urilishlarga yo'l qo'ymaslik uchun, gradient tushishini yangi nuqtadan boshlash uchun uni qisqa vaqtga sezilarli darajada oshirish mumkin. Agar ushbu protsedurani bir necha marta takrorlash algoritmni neyron tarmog'ining bir xil holatiga olib keladigan bo'lsa, ba'zida og'irlik koeffitsientlari qiymatlari barqarorlashgandan so'ng, xatoning global minimumi topilganligiga ko'proq yoki kamroq ishonch hosil qilish mumkin. , gradientni boshlash uchun qisqacha sezilarli darajada oshirish mumkin yangi nuqtadan tushish. Agar ushbu protsedurani bir necha marta takrorlash algoritmni neyron tarmog'ining bir xil holatiga keltirsa, xatoning global minimumi topilganiga ko'proq yoki kamroq ishonch hosil qilish mumkin.