12 mavzu. Sun’iy neyron tarmoqlariga kirish. Bir va ko’p sathli neyron tarmoqlari va ularning turlari

12.10. Ko’p sathli neyron tarmog’ida og’irlik koeffisentlari qiymatlarini yangilash amallari (backpropogation)

NTlarning turli strukturalari orasida ko’pqatlamli strukturali tarmoqlar ancha mashhur hisoblanadi. Ko’pqatlamli strukturali tarmoqlarda ixtiyoriy qatlamning har bir neyroni oldingi qatlamlarning barcha aksonlari bilan, faqat birinchi qatlamda esa-neyronlar faqat tarmoqining barcha kirishlari bilan bog’langan bo’ladi. Bunday tarmoqlar to’liq bo’g’langan deyiladi.

Ko’pqatlamli tarmoqlarda oxirgi qatlamdan tashqari barcha qatlamlarda neyronlarning optimal chiqish qiymatlari noma’lum bo’ladi va ikki yoki undan yuqori qatlamli perseptronni obyektlarni anglab olishga o’rgatish mumkin emas. Bu muammolarni yechish variantlaridan biri -bu NTlarning har bir qatlamdagi kirishlariga mos chiqish signallarning naborlarini yaratishdan iborat. Bu albatta, ko’p mehnatni talab qiladigan ish va hamma vaqt ham buni amalga oshirib bo’lmaydi. Ikkinchi variant -bu vaznli koeffitsientlarni dinamik ravishda moslashtirishdan (to’g’rilashdan) iborat bo’lib, bunda qoida bo’yicha bog’lanishlarga ega bo’lgan vaznli koeffitsientlar tanlanadi va ularning qiymati barcha tarmoqlarning chiqishidagi xatoliklarni kamytirishga olib kelish nuqtai nazaridan o’zgartiriladi. Bu variantda ham juda ko’p hisoblashlarni amalga oshirish talab etiladi. Ba nihoyat uchinchi, ancha qulay variant - bu NTlarning chiqishidan ularning kirishiga xatoli signallarni tarqatish, ya’ni oadatdagi ish rejimida signallarning to’g’ri tarqalishiga teskari yo’nalishni hosil qilishdan iborat. NTlarni bunday o’rgatish algoritmi teskari tarqalishli protseduralar deb nomlanadi [13, 21]. Quyida ushbu protseduralar qaraladi.
Eng kichik kvadratlar usuliga asosan NTlarda maqsadli funksiyani minimallashtirish qiymati [13, 21-24]:
(12.18)
hisoblanadi. Bu yerda - NTning kirishiga p-obyektni uzatganda, ushbu tarmoqning N -qatlamining chiqishidagi j-neyronning haqiqiy chiqish signali; d_jp - j-neyronning haqiqiy chiqish holati.
Yig’indini hosil qilish chiqish qatlamidagi barcha neyronlar va tarmoq yordamida qayta ishlanadigan barcha obyektlar amalga oshiriladi. Minimallashtirish vaznli koeffitsiyentlarni moslashtirishga mo’ljallangan gradiyentli tushish usuli yordamida quyidagicha amalga oshiriladi:
(12.19)
Bu yerda w_ij-(n-1)-qatlamning i-neyronini n-qatlamning j-neyronlari bilan bo’g’lovchi sinaptik aloqalarning vaznli koeffitsiyenti;  - NTni o’rgatish tezligi koeffitsiyenti, 0<<1.
[22] ishda ko’rsatilganidek,
(12.20)
Bu yerda y_j -j-neyronning chiqishi, s_j -kirish signallarining orttirilgan yig’indisi, ya’ni aktivlashgan funksiyaning argumentlari. dy_j / ds_j aktivlashgan funksiyaning argumentlaridan olingan hosila. NTlarda giperbolikli tangens yoki exsponentali klassikli сигмоид funksiyalardan foydalaniladi. Giperbolikli tangensdan foydalanganda
. (12.21)
Uchinchi ko’paytuvchi s_j/w_ij korinib turibdiki oldingi y_i^(n-1) qatlamdagi neyronning chiqishiga teng.
(12.20) formulaning birinchi ko’paytuvchisi quyidagi ko’rinishda tarqatiladi [2]:
(12.22)
Bu yerda k bo’yicha yig’indini hosil qilish (n+1)-qatlamdagi neyronlar o’rtasida bajariladi.
Yangi o’’zgaruvchini kiritish
(12.23)
bilan biz ancha katta (n+1)-qatlamdagi _k⁽ⁿ⁺¹⁾ qiymatdan n-qatlamda _j⁽ⁿ⁾ qiymatni hisoblash uchun rekursiv funksiyani hosil qilamiz.
. (12.24)
Chish qatlami uchun esa
. (12.25)
Endi biz (12.18) ni kengaytirilgan ko’rinishda yozamiz:
(12.26)
Ba’zida vaznlarni to’g’rilash maqsadida (12.26) formula oldingi iteratsiyadagi vaznning o’zgargan qiymati bilan to’ldiriladi
, (12.27)
bu yerda  - inertlilik koeffitsiyent, t - joriy iteratsiyaning tartib raqami.
Demak, teskari tarqalishli protseduralar yordamida NTlarni obyektlarni anglab olishga o’rgatishning to’liq алгоритмi quyidagicha quriladi [21]:
1. Tarmoqning kirishiga mumkin bo’lgan obyektlardan biri uzatiladi. NT odatdagi ishlash rejimida, ya’ni signallar kirishdan chiqishga tarqalganda oxirgi chishni hisoblash talab etiladi.Eslatamizki,
, (12.28)
bu yerda M -neyronning o’zgarmas +1 chiqish holatini hisobga olganda (n-1)-qatlamdagi neyronlar soni; y_i^(n-1)=x_ij⁽ⁿ⁾ - n-qatlamni j-neyronining i-kirishi.
y_j⁽ⁿ⁾ = f(s_j⁽ⁿ⁾), bu yerda f() - сигмоид (12.29)
y_q⁽⁰⁾=I_q, (12.30)
bu yerda I_q - kirish obyekti vektorining q-komponentasi.
2. Chiqish qatlami uchun (12.23) formula bo’yicha  ^(N) ni hisoblash. N-qatlam uchun w^(N) vaznlarning o’zgarishini (12.26) yoki (12.27) formula bo’yicha hisoblash.
3. Barcha qolgan qatlamlar uchun ⁽ⁿ⁾ va w ⁽ⁿ⁾ (n=N-1,...1.)qiymatlarni mos ravishda (12.24) va (12.26) (yoki (12.24) va (12.27)) formulalar bo’yicha hisoblash.
4. NTda barcha vaznlarini to’g’rilash
(12.31)
5. NTda xato muhim bo’lsa, u holda 1-qadamga o’tiladi, aks holda algoritm o’z ishini to’xtatadi.
Ushbu algoritmning ishlash jarayonini 12.33-rasmdagidek namoyish etish mumkin [21].



12.33-rasm. Xatoliklarni teskari tarqalishli tarmoqini strukturali sxemasi.