Reja: Sun'iy Neyron to'rlar

qatlamli perceptron sifatida tanilgan. ANN va perceptron o'rtasidagi farq
shundaki, ANN sigmasimon kabi chiziqli bo'lmagan faollashtirish

---

funktsiyasidan foydalanadi, ammo perceptron qadam funktsiyasidan
foydalanadi. Va bu chiziqsizlik Annga o'zining katta kuchini beradi.
Sezgi
Ko'p allaqachon davom bo'lyapdi, hatto asosiy oldinga dovoni bilan.
Keling, buni soddalashtiraylik va uning orqasidagi sezgi tushunaylik.
Aslida ANNNING har bir qatlami nima qiladi-bu kirishni bir vektor
fazosidan boshqasiga chiziqli bo'lmagan o'zgartirish.
Misol sifatida yuqoridagi 1-rasmdagi Anndan foydalanamiz. Bizda 3D
fazodagi vektorga mos keluvchi 3 o'lchovli erkli o'zgaruvchi mavjud. Keyin
biz uni har biri 4 tugunli ikkita yashirin qatlamdan o'tkazamiz. Va yakuniy
chiqish 1D vektor yoki skalar.
Shunday qilib, agar biz buni vektorli transformatsiyalar ketma-ketligi
sifatida tasavvur qilsak, avval 3D kiritishni 4D vektor fazosiga
moslashtiramiz, so'ngra yangi 4D fazoga yana bir o'zgartirishni amalga
oshiramiz va yakuniy transformatsiya uni 1d ga kamaytiradi. bu shunchaki
matritsa ko'paytmalari zanjiri. Oldinga o'tish ushbu matritsali nuqta
mahsulotlarini bajaradi va natijaga aktivizatsiya funktsiyasini element
bo'yicha qo'llaydi. Quyidagi rasmda faqat ishlatilayotgan og'irlik matritsalari
ko'rsatilgan (aktivlashishlar emas).
Fikr 
Hozircha biz chuqur modellar nima va ular qanday ishlashi haqida
gaplashdik, lekin nima uchun biz birinchi navbatda chuqur ketishimiz kerak?
Biz ANN qatlami o'z erkli o'zgaruvchilarini bir vektor fazodan
ikkinchisiga chiziqli bo'lmagan o'zgartirishni amalga oshirishini ko'rdik. Agar
biz tasniflash muammosini misol qilib olsak, qaror chegarasini chizish orqali
sinflarni ajratmoqchimiz. Berilgan shakldagi kirish ma'lumotlari ajratilmaydi.
Har bir qatlamda chiziqli bo'lmagan o'zgarishlarni amalga oshirish orqali biz

---

kirishni yangi vektor maydoniga loyihalashtira olamiz va sinflarni ajratish
uchun murakkab qaror chegarasini chizamiz.
Keling, aniq bir misol bilan tasvirlangan narsalarni tasavvur qilaylik.
Quyidagi ma'lumotlarni hisobga olsak, u chiziqli ravishda ajratilmasligini
ko'rishimiz mumkin.
Xulosa qilib aytganda, Annlar juda moslashuvchan, ammo kuchli
chuqur o'rganish modellari. Ular universal funktsiya taxminchilari, ya'ni ular
har qanday murakkab funktsiyani modellashtirishi mumkin. Yaqinda bir
nechta sabablarga ko'ra ularning mashhurligi bo'yicha aql bovar qilmaydigan
o'sish kuzatildi: bu modellarni tayyorlashga imkon beradigan aqlli fokuslar,
hisoblash quvvatining katta o'sishi, ayniqsa Gpu'lar va tarqatilgan treninglar
va o'quv ma'lumotlarining katta miqdori. Bularning barchasi chuqur
o'rganishga imkon berdi.
Bu qisqa joriy etish edi, chuqur asab to'r qamrab qaysi onlayn buyuk
darslarda tonna bor. Malumot uchun, men juda 
bu qog'oz
tavsiya. Bu chuqur
o'rganish va bo'lim fantastik obzori ekan 4 Enn qamrab olgan. Yana bir katta
yozuvlar onlayn mavjud.
Falaj. Ba'zi hollarda, tarmoq o'rganish paytida tarozi modifikatsiyasi
tarmoqdagi haqiqiy o'zgarishlarga olib kelmaydigan holatga tushishi
mumkin. Bunday "tarmoq falaji" jiddiy muammodir: bir marta paydo
bo'lganda, u o'quv vaqtini bir necha darajaga oshirishi mumkin.
Paralitik neyronlarning katta qismi katta net qiymatlarini berish uchun
etarlicha katta og'irliklarni olganda paydo bo'ladi. Natijada, out qiymati
chegara qiymatiga yaqinlashadi va siqish funktsiyasining hosilasi nolga
yaqinlashadi. Ko'rib turganimizdek, vazn o'zgarishi miqdorini hisoblashda
teskari tarqalish algoritmi ushbu hosilani formulada koeffitsient sifatida
ishlatadi. Paralitik ta'sirlangan neyronlar uchun lotinning nolga yaqinligi vazn
o'zgarishini nolga yaqinlashtiradi.

---

Agar shunga o'xshash sharoitlar tarmoqning ko'plab neyronlarida paydo
bo'lsa, unda o'rganish deyarli to'xtab qolishi mumkin.
Trening davomida tarmoq falaj bo'ladimi yoki yo'qligini bashorat qila
oladigan nazariya yo'q. Kichik qadam o'lchamlari falajga olib kelishi ehtimoli
kamroq ekanligi eksperimental ravishda aniqlandi, ammo bitta vazifa uchun
kichik qadam boshqasi uchun katta bo'lishi mumkin. Falajning narxi yuqori
bo'lishi mumkin. Modellashtirishda ko'p soatlik mashina vaqti falajdan chiqib
ketishi mumkin.
Stoxastik usullar sun'iy neyron tarmoqlarini o'rgatish uchun ham,
allaqachon o'qitilgan tarmoqdan chiqish uchun ham foydalidir. Stoxastik
o'qitish usullari katta foyda keltiradi, bu esa o'quv jarayonida mahalliy
minimalarni yo'q qilishga imkon beradi. Ammo ular bilan bog'liq bir qator
muammolar mavjud.
Sun'iy neyron tarmoq uning vaznini o'zgartiradigan ba'zi bir
jarayon orqali o'rganiladi. Agar trening muvaffaqiyatli bo'lsa, unda ko'plab
kirish signallari tarmog'ini taqdim etish kerakli chiqish signallarining paydo
bo'lishiga olib keladi. O'qitish usullarining ikkita klassi mavjud: deterministik
va stoxastik.
Deterministik o'qitish usuli bosqichma-bosqich tarmoq tarozilarini
joriy qiymatlaridan, shuningdek kirish qiymatlari, haqiqiy chiqishlar va
kerakli chiqishlardan foydalanishga asoslangan holda tuzatish tartibini
amalga oshiradi. Perceptronni o'rgatish shunga o'xshash deterministik
usulning namunasidir.
Stoxastik o'qitish usullari yaxshilanishga olib keladigan o'zgarishlarni
saqlab, tarozi kattaligidagi psevdo-tasodifiy o'zgarishlarni amalga oshiradi.
Buni aniq ko'rsatish uchun guruchni ko'rib chiqing. 7.1, bu neyronlar tarozi
bilan bog'langan odatiy tarmoqni ko'rsatadi. Neyronning chiqishi bu erda
uning kirishlarining tortilgan yig'indisi bo'lib, u chiziqli bo'lmagan funktsiya

---

yordamida aylantiriladi. Tarmoqni o'qitish uchun quyidagi protseduralardan
foydalanish mumkin:
Og'irlikni tasodifiy tanlang va uni kichik tasodifiy songa sozlang.
1.
Ko'p kirishlarni taqdim eting va natijada olingan chiqishlarni hisoblang.
Ushbu chiqishlarni kerakli chiqishlar bilan taqqoslang va ular
2.
orasidagi farq miqdorini hisoblang. Umumiy qabul qilingan usul-o'qitiladigan
juftlikning har bir elementi uchun haqiqiy va kerakli natijalar o'rtasidagi
farqni topish, farqlarni kvadratga aylantirish va ushbu kvadratlarning
yig'indisini topish. Treningning maqsadi ko'pincha maqsad funktsiyasi deb
ataladigan ushbu farqni minimallashtirishdir.
Og'irlikni tasodifiy tanlang va uni kichik tasodifiy qiymatga sozlang.
3.
Agar tuzatish yordam bersa (maqsadli funktsiyani kamaytiradi), uni saqlang,
aks holda vaznning asl qiymatiga qayting.
Tarmoq etarli darajada o'qitilgunga qadar 1 dan 3 gacha bo'lgan
4.
bosqichlarni takrorlang.

---

Shakl: 7.1. 
Ushbu jarayon maqsadli funktsiyani minimallashtirishga intiladi, ammo
tuzoqqa tushib qolgandek, muvaffaqiyatsiz qarorga tushishi mumkin.
Shaklda. 7.2 bu yagona vaznli tizimda qanday sodir bo'lishi mumkinligini
ko'rsatadi. Aytaylik, dastlab vazn nuqtadagi qiymatga teng ravishda olinadi 
. Agar vazn bo'yicha tasodifiy qadamlar kichik bo'lsa, unda nuqtadan har qanday og'ish 
maqsad funktsiyasini oshiradi va rad etiladi. Bir nuqtada olingan eng yaxshi vazn qiymati 
hech qachon topilmaydi va tizim bir nuqtada global minimal o'rniga mahalliy minimal tomonidan tuzoqqa 
tushadi . Agar tasodifiy vaznni tuzatish juda katta bo'lsa , unda nuqta ham, nuqta 
ham tez-tez uchrab turadi, ammo boshqa har bir nuqta uchun ham xuddi shunday bo'ladi. Og'irlik shunchalik keskin o'zgaradiki, u hech qachon kerakli minimal darajaga o'rnatilmaydi.
Shakl: 7.2. 
Bunday muammolarni oldini olish uchun foydali strategiya katta
boshlang'ich qadamlar va o'rtacha tasodifiy qadam hajmini asta-sekin
kamaytirishdir. Bu tarmoqning mahalliy minimumlardan chiqib ketishiga
imkon beradi va shu bilan birga tarmoqning yakuniy barqarorlashishini
kafolatlaydi.
Mahalliy minimal tuzoqlar barcha minimal qidiruv algoritmlarini (shu
jumladan, perceptron va teskari tarqatish tarmoqlarini) bezovta qiladi va ba'zi
sabablarga ko'ra ko'pincha e'tibordan chetda qoladigan jiddiy va keng
tarqalgan qiyinchiliklarni keltirib chiqaradi. Stoxastik usullar ushbu
muammoni hal qilishga imkon beradi. Og'irliklarni tuzatish strategiyasi,
og'irliklarni bir nuqtada global maqbul qiymatni olishga majbur qilish juda mumkin.

---

Tushuntirish o'xshashligi sifatida, aytaylik, sek. 7.2 quti ichidagi
yuzada to'p tasvirlangan. Agar quti gorizontal yo'nalishda qattiq silkitilsa, to'p
tezda bir chetidan ikkinchisiga aylanadi. Hech qaerda qolmasdan, har bir
vaqtda to'p sirtning istalgan nuqtasida teng darajada bo'ladi.
Agar siz tebranish kuchini asta-sekin kamaytirsangiz, unda to'p qisqa
vaqt ichida bir nuqtada "tiqilib qoladigan" holatga erishiladi . Bundan ham kuchsizroq silkitganda, to'p bir nuqtada ham , nuqtada ham qisqa vaqt to'xtaydi 
. Tebranish kuchining doimiy pasayishi bilan to'pni nuqtadan nuqtaga o'tkazish uchun tebranish kuchi etarli 
bo'lgan, ammo to'pni "yuqoriga ko'tarish" uchun etarli bo'lmagan muhim nuqtaga erishiladi 
.ichida . Shunday qilib, to'p nihoyat global minimal nuqtada to'xtaydi, chunki tebranish amplitudasi nolga kamayadi.
Sun'iy neyron tarmoqlarini tasodifiy tarozi tuzatish yordamida xuddi
shu tarzda o'rganish mumkin. Birinchidan, katta tasodifiy tuzatishlar faqat
maqsadli funktsiyani kamaytiradigan vazn o'zgarishlarini saqlab qolish bilan
amalga oshiriladi. Keyin o'rtacha qadam hajmi asta-sekin kamayadi va oxir-
oqibat global minimal darajaga erishiladi.
Ushbu protsedura metallni tavlashga juda o'xshaydi, shuning uchun uni
tasvirlash uchun ko'pincha "taqlid tavlash"atamasi ishlatiladi. Erish
nuqtasidan yuqori haroratgacha qizdirilgan metallda atomlar kuchli tartibsiz
harakatda bo'ladi. Barcha fizik tizimlarda bo'lgani kabi, atomlar ham minimal
energiya holatiga (bu holda bitta kristall) intiladi, ammo yuqori haroratlarda
atom harakatlarining energiyasi bunga to'sqinlik qiladi. Metallni asta-sekin
sovutish jarayonida, oxir-oqibat, mumkin bo'lgan eng kichik holatga, global
minimal darajaga erishilgunga qadar, tobora past energiya holatlari paydo
bo'ladi. Tavlanish jarayonida energiya darajalarining taqsimlanishi quyidagi
munosabat bilan tavsiflanadi:
qaerda
-tizimning energiya holatida bo'lish ehtimoli ; - Boltsman doimiysi; 
- Kelvin shkalasi bo'yicha harorat.
Yuqori haroratlarda 
u barcha energiya holatlari uchun birlikka yaqinlashadi. Shunday qilib, yuqori energiya holati kam energiya holati kabi deyarli mumkin. Harorat pasayishi bilan yuqori energiyali holatlar ehtimoli past energiyali holatlarga nisbatan kamayadi. Harorat nolga yaqinlashganda, tizim yuqori energiya holatida bo'lishi ehtimoldan yiroq emas.

---

Koshi Tayyorlash
Shakl: 7.3. 
Ushbu usulda qadamning kattaligini hisoblashda Boltsman taqsimoti
Koshi taqsimoti bilan almashtiriladi. Koshi taqsimoti rasmda ko'rsatilgandek.
7.3, uzunroq "dumlar", shu bilan katta qadamlar ehtimolini oshiradi.
Aslida, Koshi taqsimoti cheksiz (noaniq) dispersiyaga ega. Bunday oddiy
o'zgarish bilan haroratning pasayishining maksimal tezligi Boltsmanning
o'rganish algoritmi uchun logarifmga emas, balki chiziqli qiymatga teskari
proportsional bo'ladi. Bu o'quv vaqtini keskin qisqartiradi. Giyohvandlikni
quyidagicha ifodalash mumkin:
Koshi taqsimoti shaklga ega
bu erda 
kattalik qadamining ehtimoli bor .
Ushbu tenglamada 
standart usullar bilan birlashtirilishi mumkin. Muammoni hal 
qilish orqali biz olamiz
qaerda -o'rganish tezligi koeffitsienti; - vaznning o'zgarishi.
Endi Monte-Karlo usulini qo'llash juda oson. Bu holda x ni topish
uchun tasodifiy raqam ochiq intervalda bir xil taqsimotdan tanlanadi 
(tangens funktsiyasini cheklash kerak). U (5.7) formulaga sifat 

---

sifatida almashtiriladi va qadam qiymati joriy harorat yordamida hisoblanadi.
Koshi teskari tarqatish va o'qitish
Orqaga tarqalish to'g'ridan-to'g'ri qidirishning afzalliklariga ega, ya'ni
og'irliklar har doim xato funktsiyasini minimallashtiradigan yo'nalishda
o'rnatiladi. O'quv vaqti uzoq bo'lsa-da, Global minimal talab qilinadigan
Koshi mashinasi tomonidan tasodifiy qidiruvga qaraganda ancha kam, ammo
ko'plab qadamlar noto'g'ri yo'nalishda amalga oshiriladi va ko'p vaqtni
"yeydi".
Ushbu ikki usulni birlashtirish yaxshi natijalar berdi. Orqaga tarqalish
algoritmi tomonidan hisoblangan miqdorga teng bo'lgan o'lchovni tuzatish va
Koshi algoritmi tomonidan berilgan tasodifiy qadam, har bir usul bo'yicha
alohida o'qitilgan tizimga qaraganda global minimumni tezroq
birlashtiradigan va topadigan tizimga olib keladi. Oddiy evristika teskari
tarqalishda ham, Koshi usulida o'qitishda ham paydo bo'lishi mumkin bo'lgan
tarmoq falajining oldini olish uchun ishlatiladi.
Koshi o'rganish algoritmidagi qiyinchiliklar
Koshi mashinasi va Boltsman mashinasi tomonidan berilgan o'rganish
tezligi yaxshilanganiga qaramay, yaqinlashish vaqti hali ham orqaga tarqalish
algoritmi vaqtidan 100 baravar ko'p bo'lishi mumkin. E'tibor bering, tarmoq
falaji Koshi o'rganish algoritmi uchun, ayniqsa logistika funktsiyasi kabi
chiziqli bo'lmagan tarmoq uchun juda xavflidir. Koshi taqsimotining cheksiz
dispersiyasi tarozilarning cheksiz kattaliklarga o'zgarishiga olib
keladi. Bundan tashqari, og'irlikdagi katta o'zgarishlar ba'zan noqulay bo'lgan
holatlarda ham qabul qilinadi, ko'pincha tarmoq neyronlarining kuchli
to'yinganligiga olib keladi va natijada falaj xavfi mavjud.
o'qitish orqali Koshi orqaga tarqalishni shape bilan birlashtirish.
Orqaga tarqalish va Koshi ta'limidan foydalangan holda kombinatsiyalangan
algoritmdagi tarozilarni tuzatish ikkita komponentdan iborat: (1) teskari

---

tarqalish algoritmi yordamida hisoblangan yo'naltirilgan komponent va
(2) Koshi taqsimoti bilan aniqlangan tasodifiy komponent. Ushbu
komponentlar har bir vazn uchun hisoblanadi va ularning yig'indisi vaznning
o'zgarishi miqdoridir. Xuddi shundayKoshi algoritmi, vazn o'zgarishini
hisoblagandan so'ng, maqsad funktsiyasi hisoblanadi. Agar yaxshilanish
bo'lsa, o'zgarish albatta saqlanib qoladi. Aks holda, Boltsman taqsimoti bilan
belgilanadigan ehtimollik bilan saqlanib qoladi. Og'irlikni tuzatish har bir
algoritm uchun ilgari taqdim etilgan tenglamalar yordamida hisoblanadi:
bu erda Koshi nisbiy qiymatlarini boshqaruvchi koeffitsient va og'irlik bosqichining tarkibiy qismlarida teskari tarqalish. Agar ? nolga teng, tizim butunlay Koshi mashinasiga aylanadi. Agar ? birlikka tenglashtirilgan tizim teskari tarqatish mashinasiga aylanadi. Og'irlik funktsiyasini hisoblash o'rtasida faqat bitta vazn koeffitsientini o'zgartirish samarasiz. Ma'lum bo'lishicha, butun qatlamning barcha og'irliklarini darhol o'zgartirish yaxshiroqdir, garchi ba'zi vazifalar uchun boshqa strategiya yanBirlashtirilgan o'qitish usuli bilan tarmoq falajini engish. Koshi mashinasida bo'lgani kabi, agar vazn o'zgarishi maqsad funktsiyasini yomonlashtirsa, Boltsman taqsimoti yordamida yangi vazn qiymatini saqlab qolish yoki oldingi qiymatni tiklash to'g'risida qaror qabul qilinadi. Shunday qilib, tarozi o'sishining yomonlashadigan to'plamini saqlab qolish ehtimoli cheklangan. Koshi taqsimoti cheksiz dispersiyaga ega bo'lgani uchun (tangens o'zgarishi diapazoni
aniqlash sohasida), keyin tarozilarning katta o'sishi ehtimoli katta, bu ko'pincha tarmoq falajiga olib keladi.
Og'irlik qadamlarining o'zgarishi doirasini cheklashdan iborat aniq
echim shu tarzda olingan algoritmning matematik to'g'riligi to'g'risida savol
tug'diradi. Bugungi kunda tizimning global minimal darajaga yaqinlashishi
faqat dastlabki algoritm uchun isbotlangan. Qadam hajmini sun'iy ravishda
cheklash bilan bunday dalil yo'q. Aslida, ba'zi funktsiyalarni amalga oshirish
uchun katta og'irliklar va ikkita katta og'irliklar talab qilinadigan holatlar
eksperimental ravishda aniqlandi.
Yana bir yechim-to'yinganlik holatida bo'lgan neyronlarning tarozilarini
randomizatsiya qilish. Uning kamchiligi shundaki, u o'quv jarayonini jiddiy
ravishda buzishi mumkin, ba'zida uni cheksiz tortib oladi.
Falaj muammosini hal qilish uchun erishilgan o'rganishni buzmaydigan
usul topildi. To'yingan neyronlar ularning out signallarini o'lchash orqali
aniqlanadi. Out qiymati ijobiy yoki salbiy chegara qiymatiga yaqinlashganda,
bu neyronni oziqlantiruvchi og'irliklarga siqish funktsiyasi ta'sir qiladi. Bu
out neyron signalini olish uchun ishlatiladigan signalga o'xshaydi, faqat uning
o'zgarishi oralig'i interval 
yoki boshqa mos keladigan to'plamdir. Keyin o'zgartirilgan vazn qiymatlari

---

Ushbu funktsiya juda katta og'irliklarning hajmini sezilarli darajada
kamaytiradi, kichik vaznlarga ta'siri ancha zaiflashadi. Bundan tashqari, u
katta tarozilar orasidagi kichik farqlarni saqlab, simmetriyani saqlaydi.
Eksperimental ravishda ushbu funktsiya neyronlarni to'yinganlik holatidan
tarmoqdagi o'rganishni buzmasdan chiqarib yuborishi ko'rsatilgan. Amaldagi
funktsiyani optimallashtirish uchun katta kuch sarflanmadi va boshqa doimiy
qiymatlar eng yaxshi bo'lishi mumkin.
Qat’iymas mantiqqa asoslangan tizimlar.
Sun'iy neyron tarmoq (yoki shunchaki NS.)- bu bir-biri bilan va tashqi
muhit bilan ma'lum bir tarzda neyropaga o'xshash elementlar (neyronlar)
to'plami. NS yordamida., mantiqiy asosda aniqlangan kirish va chiqish
o'zgaruvchilarini bir-biriga bog'laydigan shaxsiy mantiqiy funktsiyalarni
amalga oshirish mumkin (0, 1). Ushbu mantiqiy funktsiyalar monoton va
monoton bo'lmagan, chiziqli bo'linadigan va ajralmas bo'lishi mumkin,
ya'ni.juda murakkab shaklga ega.
1943 yilda Mccullock va Pitts NS nazariyasining rivojlanishida muhim
bo'lgan teoremani tuzdilar. Uning ta'kidlashicha, cheklangan, so'zlar soni
bilan mantiqiy tavsiflanishi mumkin bo'lgan asab tizimining har qanday
funktsiyasi rasmiy neyron tarmoq tomonidan amalga oshirilishi
mumkin. Rasmiy neyronlarda (Mccullock-Pitts hujayralari) mantiqiy
funktsiyalarni amalga oshirishda ushbu teoremaning talqini juda katta uslubiy
ahamiyatga ega. Yuhanno. Fon-Neymanning yozishicha, teorema"inson asab
tizimining o'ta murakkabligi, uning faoliyati va funktsiyalarini har qanday
tasavvur qilinadigan mexanizmlarda amalga oshirish mumkin emasligi
haqidagi barcha suhbatlarga chek qo'yadi". Biroq, bu teorema "konstruktiv"
teorema emas, balki mavjudlik teoremasidir. Unda asab tizimining u yoki bu

---

funktsiyasini modellashtiradigan rasmiy neyron tarmog'ini qanday qurish
haqida hech narsa aytilmagan; u faqat bunday rasmiy neyron tarmog'ini
tubdan qurish mumkinligi haqidagi pozitsiyani tasdiqlaydi.