6-amaliy ishi. Sigmoid faollashtirish funksiyasi va umumiylashtirilgan delta qoidasi

---

6-AMALIY ISHI. SIGMOID FAOLLASHTIRISH FUNKSIYASI VA 
UMUMIYlashtirilgan DELTA QOIDASI 
Perceptron, uning sxemasi rasmda ko'rsatilgan. 4.8 alifbo harflarini tanib olish 
uchun mo'ljallangan. Siz undan boshqa amaliy muammolarni hal qilish uchun 
foydalanishga harakat qilishingiz mumkin, masalan, kasalliklarni tashxislash yoki 
o'zingizning yoki boshqa birovning samolyoti dushmanga uchib ketishini 
aniqlash. 
loyihalar 
mamlakat yuzlariga. Hammasi kirish vektori xj va chiqish vektori yi ga qanday 
ma'no berish kerakligiga bog'liq. 
Demak, 
masalan, 
odamning 
kasallik 
belgilarini 
kodlovchi 
signallar 
perseptronning kirishiga xj sifatida qo'llanilsa va uning kasalliklari 
diagnostikasini kodlovchi signallar perseptron chiqishida yi sifatida qabul qilinsa 
Guruch
.
4.9.
perseptron,
ishlab chiqilgan
uchu
n
tibbiy
diagnostika
Guruch
.
4.10.
perseptron,
ishlab chiqilgan
uchu
n
tan olish
harbiy
hajmi

---

(4.9-rasm), u holda bunday perseptron asosida tibbiy diagnostika tizimini qurish 
mumkin. 
Va agar xj sifatida, mamlakat chegaralarigacha uchayotgan samolyotni aniqlagan 
radardan perseptronning kirishiga signallar yuborilsa. 
(4.10-rasm) va perseptronning chiqishida yi sifatida signallarni qabul qilish, 
Guruch. 1. Sigmasimon faollashuv funksiyasi y = fs(S) 
yo'nalishni aniqlovchi samolyot "o'zimizniki" yoki "begonalik" ekanligi haqidagi 
ma'lumotlarni kodlash, keyin bunday perseptron asosida harbiy ob'ektlarni 
aniqlash va tanib olish tizimini yaratish mumkin. 
Ammo shuni ta'kidlash kerakki, ob-havo, havo harorati, birja kotirovkalari va 
valyuta kurslarini bashorat qilish kabi muammolarning boshqa sinflari uchun 
bunday perseptron mos emas, chunki u faqat "nol" va "bir" kabi ikkilik natijalarni 
berishi mumkin. . 
Perseptronga nafaqat ikkilik chiqish signallarini, balki analogli, ya'ni uzluksiz 
qiymatlarga ega bo'lgan signallarni ham ishlab chiqarishga o'rgatilsa, hal 
qilinadigan vazifalar doirasi sezilarli darajada kengayadi. Perseptronning bunday 
rivojlanishini amerikalik olimlar B.Vidrov va M.E.Xoff [107] amalga oshirib, 
bosqichma-bosqich faollashtirish funksiyasi oʻrniga (4.3-rasmga qarang) uzluksiz 
y=
bitta 
, 
(4.13) 
1 + e−S 
jadval 
qaysi tasvirlangan ustida guruch. 4.11. 
Bu funktsiya sigmasimon deb ataldi, chunki uning grafik tasviri lotincha "S" 
harfiga o'xshaydi. Sigmasimon bezning yana bir nomi logistik funktsiyadir. 
Sigmasimon bez uchun y = fs(S) yozuvi qabul qilingan. 

---

Oddiy chegara faollashtirish funktsiyasi singari, sigmasimon domen nuqtalarini 
(−∞, +∞) oraliqdagi qiymatlarga (0, +1) xaritalaydi. Amalda, sigmasimon klassik 
chegara funktsiyasining doimiy yaqinlashuvini ta'minlaydi. 
Uzluksiz faollashuv funksiyalariga ega bo'lgan perseptronlarning paydo bo'lishi 
ularni o'qitishda yangi yondashuvlarning paydo bo'lishiga olib keldi. B. Widrow 
va M. E. Xoff formula bilan aniqlangan kvadratik xatoni minimallashtirishni 
taklif qildilar: 
I 
(di - yi)2, 
(4.14) 
i=1 
bu yerda, avvalgidek, di - i-neyronning kerakli (istalgan) chiqishi, yi - perseptron 
hisoblashlari natijasida olingan chiqish. 
Guruch. 2. J kirishlari va I chiqishi bilan perseptron 
O'ylab ko'ring tuzatish algoritmi vazn bo'yicha 
koeffitsientlar
perseptron, J kirishlariga ega va men chiqaman (4.12-rasm). 
Perseptron e ning kvadratik o'rganish xatosi wij qanday og'irliklarga bog'liq. 
Boshqacha qilib aytganda, e - vazn koeffitsientlari to'plamining funktsiyasi: e = 
e(wij). Uning grafik tasviri uchun ko'p o'lchovli koordinatalar tizimi talab qilinadi, 
biz buni uch o'lchovli dunyomizda tasavvur qila olmaymiz. Ushbu ko'p o'lchovli 

---

koordinatalar tizimida e = e(wij) funksiya gipersurfas deb ataladigan ko'p 
o'lchovli sirt sifatida ifodalanadi. 
Gipersurface haqida tasavvurga ega bo'lish uchun barcha argumentlar 
"muzlatilgan" deb faraz qiling, ya'ni ikkitadan tashqari o'zgarmaydi, masalan, 
o'zgaruvchilar bo'lgan wi,j va wi,j+1 . Keyin uch o'lchovli koordinatalar 
sistemasida (wi,j,wi,j+1, e) gipersurat paraboloidga o'xshash figuraga o'xshab 
qoladi, biz uni psevdoparabaloid deb ataymiz (4.13-rasm). Perseptronning 
o'rganish jarayoni endi giperpsevdoparaboloidning eng past nuqtasiga to'g'ri 
keladigan wij og'irlik koeffitsientlarining bunday kombinatsiyasini topish sifatida 
ifodalanishi mumkin. Bunday muammolar optimallashtirish muammolari deb 
ataladi. Optimallashtirish muammosi ko'p o'lchovli parametr fazosida e = e(wij) 
funksiyani minimallashtirish deyiladi. 
Guruch. 3. Wi,j, wi,j+1, e uch o‘lchovli koordinatalar sistemasida e = e(wij) 
perseptron xato funksiyasining grafik tasviri. 
Shunday qilib, agar ilgari biz perseptronni “mukofot-jazo” usulida o’rgatishini 
aytgan bo’lsak, endi perseptronni o’rgatish vazifasi e = e(wij) perseptron xato 
funksiyasini optimallashtirish (minimallashtirish) vazifasi ekanligini aytamiz. Bu 
ba'zan perseptron xatosi deb ataladi. 
Optimallashtirish muammolarini hal qilishning ko'plab usullari mavjud. Eng 
oddiy usul - bu koeffitsientlarga mos keladigan e funktsiyasi qiymatlari o'rtasidagi 
taqqoslash va keyingi hisob-kitoblar bilan og'irlik koeffitsientlarini sanab 
o'tishdir. Biroq, gradient deb ataladigan usullar samaraliroq. 

---

Funktsiyaning gradienti juda muhim matematik tushuncha bo'lib, u odatda 
universitetning birinchi yillarida kiritiladi. Eslatib o'tamiz, e = e(wij) funksiyaning 
gradienti vektor bo'lib, uning koordinata o'qlaridagi proyeksiyalari e 
funktsiyaning ushbu koordinatalarga nisbatan qisman hosilalari ∂e/∂wij bo'lib, 
funktsiyaning gradienti doimo bo'ladi. uning eng katta o'sishiga yo'naltirilgan. 
Vazifa e = e(wij) funktsiyaning minimalini topish bo'lganligi sababli, biz xato 
yuzasi bo'ylab pastga tushishimiz kerak, bu funktsiyaning gradientiga qarama-
qarshi yo'nalishda harakat qilish orqali ta'minlanadi. Shuning uchun nom - 
gradient tushish usuli. 
Gradientga qarama-qarshi yo'nalishda harakat, agar har bir davrda joriy nuqtaning 
koordinatalari bo'yicha wij (t + 1) = wij(t) + ∆wij takrorlanuvchi formuladan 
foydalangan holda amalga oshiriladi. oldingi xatboshida, biz koordinataga 
nisbatan qisman hosilaga to'g'ridan-to'g'ri proportsional qiymat qo'shamiz wij, 
dan olingan 
qarama-qarshi belgi: 
∆wij =
e . (4.15) 
Bu erda ē ba'zi koeffitsient bo'lib, odatda 0,05 dan 1,5 gacha bo'lgan oraliqda 
o'rnatiladi va avvalgidek, o'rganish tezligi koeffitsienti deb ataladi. 
E'tibor bering, (4.15) formulaga muvofiq, biz nafaqat funktsiyaning kamayishi 
yo'nalishi bo'yicha, balki funktsiyaning pasayish tezligiga (ya'ni tikligiga) 
to'g'ridan-to'g'ri proportsional tezlikda harakat qilamiz, chunki biz ∆wij qadamini 
qo'yamiz. minus belgisidan olingan hosilaga mutanosib. 
Kvadrat xato e i perseptronning chiqish signallariga bog'liq murakkab funksiya 
bo'lib, u o'z navbatida wij ga bog'liq, ya'ni e = e(yi(wij)). Murakkab funktsiyani 
differentsiallash qoidasiga ko'ra 
∂e 
. 
(4.16) 
Neyronlarning chiqish signallari yi sigmasimon faollashtirish funksiyalari yi = 
fs(Si) yordamida hisoblanadi, argument: 
J 

---

tory 
bor 
miqdor 
Si 
= 
wijxj, yoki, nima keyin bir xil eng 
ko'p: jP=1 
Si = wi1x1 + wi2x2 +. . . + wijxj + . . . + wiJ xJ. 
Binobarin, 
. (4.17) 
∂wij 
Xuddi shunday, (4.14) formulani eslab, e ni yi ga nisbatan differensiallash orqali 
biz quyidagilarga erishamiz: 
yi). (4.18) 
(4.17) va (4.18) ni (4.16) ga va natijada olingan ifodani (4.15) ga almashtirsak, 
nihoyat 
. 
(4.19) 
Bu ifoda har qanday turdagi aktivizatsiya funksiyalariga ega neyronlar uchun 
olingan. Agar fs(Si) (4.13) formula bo'yicha berilgan sigmasimon bo'lsa, u holda 
f
. 
(4.20) 
O'rnini bosish bu 
ifoda ichida (4.19), 
olamiz: 
∆wij = ē(di − yi)fs(Si) (1 − f (Si)) xj = ķ(di − yi)yi(1 − yi)xj. (4.21) 
Shunday qilib yo'l biz 
uchun iterativ formula olingan perseptronni 
o'rganish 
wij(t + 1) = wij(t) + ∆wij, 
(4.22) 
ichida 
qaysi 
∆wij = ēdiixj, (4.23) 
di = yi(1 - yi)(di - yi). (4.24) 
Bu erda (4.24) formula yordamida kiritilgan d i qiymati quyida nerv xatosi deb 
ataladi. (4.22)–(4.24) algoritmi umumlashtirilgan delta qoidasi deyiladi. Uning 
odatiy delta qoidasiga nisbatan afzalligi tezroq konvergentsiya va kirish va 
chiqish uzluksiz signallarini aniqroq qayta ishlash imkoniyati, ya'ni perseptronlar 
tomonidan hal qilinadigan vazifalar doirasini kengaytirishdir. 
Demak, qadam funksiyasi o‘rniga sigmasimon faollashtirish funksiyasining 
kiritilishi va yangi o‘rganish algoritmi – umumlashtirilgan delta qoidasining 

---

paydo bo‘lishi perseptron doirasini kengaytirdi. Endi u nafaqat ikkilik (masalan, 
"nol" va "bir"), balki uzluksiz (analog) chiqish signallari bilan ham ishlay oladi. 

---