6-amaliy ishi. Sigmoid faollashtirish funksiyasi va umumiylashtirilgan delta qoidasi

Guruch. 4.18.Professor A. I. Galushkin perseptron tipidagi ko'p qatlamli neyron 
tarmoqlar uchun birinchi o'rganish algoritmlarining muallifi.
Shunisi qiziqki, ko'p qatlamli neyron tarmoqlarni o'rganish algoritmi, boshqa 
ko'plab ajoyib ilmiy kashfiyotlar singari, aslida bir nechta mualliflarga ega. Shunday 
qilib, keyinchalik ma'lum bo'ldiki, xatolarni orqaga yoyish algoritmi bir yil avval A. 
Parker va A. Le Kanning bir-biridan mustaqil nashr etilgan ishlarida taklif qilingan. 
Bundan tashqari, 1974 yildayoq bu oddiy va nafis algoritmni P. J. Verbos [106] 
doktorlik dissertatsiyasida himoya qilgani ma'lum bo'ldi. Bundan tashqari, 
perseptron tipidagi ko'p qatlamli tuzilmalarni o'rganish g'oyalari va algoritmlarini 
sovet olimlarining avvalgi nashrlarida topish mumkin: A. I. Galushkin (4.18-rasm), 
V. A. Vanyushin, L. S. Zak, B. P. Tyuxov [4, 6-10]. 1970–1974 yillar. Oxirgi holat 

---

shunday xulosaga kelishimizga imkon beradiki, Sovet Ittifoqi ushbu chinakam ulkan 
ilmiy kashfiyotda ustuvor ahamiyatga ega.
N ta kirish, I chiqish va J neyronlarining yashirin qatlamiga ega ikki qavatli 
perseptronni o'rgatish holatiga delta qoidasini umumlashtirishga urinib, orqaga 
tarqalish algoritmi g'oyasini ko'rib chiqing (4.19-rasm). Aslida, bu perseptron uchta 
qatlamga ega, ammo adabiyotda u ikki qavatli deb ataladi, chunki kirish qatlamining 
neyronlari faqat bitta kirishga ega, sinaptik og'irliklarga ega emas va kirish 
signallarini yig'maydi, faqat uzatadi. keyingi qatlamning neyronlariga bitta kirish 
signali.
Keling, chiqish qatlamidagi neyronlarning sinaptik og'irliklarini sozlash 
algoritmini bitta qatlamli perseptron bilan bir xilda qoldiramiz (umumlashtirishga 
qarang).
Guruch. 4.19.Ikki qavatli perseptron N kirish, I chiqish va yashirin J neyron qatlami
(4.22)–(4.24) formulalarning qisqartirilgan delta qoidasi, xj o'rniga yj
1)
:
wij(t + 1) = wij(t) + ∆wij; 
(4,29)
∆wij = ēdiiyj; 
(4.30) d
i
= yi (1−yi)(di−yi). (4.31)
1
) Shaklni solishtirish orqali signal yo'llarini kuzatsak, bu almashtirishning sabablari aniq bo'ladi. 4.12 va rasm. 4.19: agar bir qavatli 
perseptronda (4.12-rasm) chiqish qatlami neyronlarining kirishiga xj kirish signallari qo'llanilsa, ikki qavatli perseptronda (4.19-rasm) 
oldingi (yashirin) neyronlarning chiqish signallari. ) yj qatlami chiqish qatlamining neyronlari kirishiga oziqlangan. 

---

Yashirin qatlamdagi neyronlarning sinaptik og'irliklarini bir xil formulalar (4.22) 
- (4.24) yordamida tuzatishga harakat qilamiz, bunda i indeksini j bilan 
almashtiramiz va j indeksini n indeksiga almashtiramiz:
wjn(t + 1) = wjn(t) + ∆wjn; 
(4.32)
∆wjn = ēdjxn; 
(4.33) d
j
= yj (1−yj)(dj−yj). (4,34)
Ushbu formulalardan foydalanganda neyron xatosini hisoblash haqida savol 
tug'iladi (dj−yj), yashirin qatlam uchun noma'lum. Ko'rib chiqilayotgan algoritm 
mualliflarining g'oyasi ushbu xato sifatida chiqish qatlamidagi umumiy neyron 
xatolarni mos keladigan sinaptik ulanishlarning kuchli tomonlariga ko'paytirishdan 
iborat edi, ya'ni.
I
(dj−yj) =Xd'iwij. (4,35)
i=1