Neyron tarmoqni o‘qitish usullari va algoritmlari quvvatali Raximov Ortiqovich

Adaptiv usullar 
Ishlashning sezilarli yaxshilanishlariga qaramay, impuls usullari muvozanatsiz 
namunalarda, ya'ni kamdan-kam uchraydigan belgilar mavjud bo‘lgan bunday ma’lumotlar 
to‘plamlarida o‘rnatilgan optimallashtirish mexanizmlarini o‘z ichiga olmaydi. Ushbu 
muammoning natijasi shundaki, bunday algoritmlarning konveks bo‘lmagan maqsadli 
funktsiya holatida mahalliy minimumlarga yaqinlashishga moyilligidir. Ushbu muammoni 
hal qilishning mumkin bo‘lgan variantlaridan biri adaptiv optik algoritmlar guruhida 
(Adagrad, RMSProp, Adadelta, Adam) amalga oshirilgan o‘quv tezligining dinamik 
modifikatsiyasi hisoblanadi. Balanssiz namunalarda tasniflash muammolarini hal qilish 
uchun neyron tarmoqlarni o‘qitish muammosi, xususan, *10,11+ manbalarda ko‘rib 
chiqilgan. Quyidagi algoritmlarning maqsadi ushbu muammoni bartaraf etish orqali 
optimallashtirish jarayonlarining samaradorligini oshirishdir. 
Adaptiv gradient (Adagrad [12]) - bu neyron tarmog‘ining og‘irlik koeffitsientlarini 
yangilash tezligi dinamik ravishda moslashadigan algoritm, ya'ni kam sonda ko‘rsatilgan 
xususiyatlar qiymatlari uchun mazmunli yangilanishlar va tez – tez uchraydigan qiymatlar 
uchun zaif yangilanishlar amalga oshiriladi. Ushbu tamoyil Adagrad algoritmidagi o‘rganish 
tezligi aslida N ning har bir bosqichidagi w
i
parametrlarining har biri uchun alohida hisoblab 
chiqilganligi sababli amalga oshiriladi. 
Og‘irlik koeffitsientlarini o‘zgartirish (7) qoidaga muvofiq amalga oshiriladi: 
bu erda G
n
diagonal matritsa bo‘lib, uning har bir diagonal elementi (i,i) indekslari 
bilan algoritm boshlanishidan N bosqichigacha hisoblangan w
i
o‘zgaruvchisi bo‘yicha 
qisman hosilalarning kvadratlari yig‘indisidir, ε – 0 ga bo‘linishni oldini olish uchun tekislash 
omili. 
Biz qoidani (7) vektor shaklida quyidagicha yozamiz: 
Adagradning asosiy afzalliklaridan biri shundaki, u o‘rganish tezligini qo‘lda 
o‘zgartirishni sozlash zaruratini yo‘q qiladi. Biroq, uning kamchiliklari orasida shuni 
ta’kidlash mumkinki, neyronni o‘qitish jarayonida (8) qoidaning maxraji juda tez o‘sib, 
gradient kvadratlari yig‘indisini to‘playdi. Natijada, o‘rganish tezligi pasayishi va cheksiz 
kichiklashishi mumkin, ya'ni algoritm o‘qitish xususiyatlarini yo‘qotadi. 
Adadelta [13] - bu Adagrad kengaytmasi bo‘lib, u o‘rganish tezligining tez pasayishi 
muammosini hal qiladi. Ushbu algoritmdagi gradient kvadratlarining yig‘indisi avvalgi 
barcha gradient kvadratlarining eksponent ravishda pasayib ketadigan o‘rtacha qiymatiga 
almashtiriladi, ya'ni qisman hosilalarning oxirgi qiymatlari ko‘proq hisobga olinadi. 
Keyin vazn koeffitsientlarini yangilash qoidasi quyidagi ko‘rinishga ega bo‘ladi: 

---

Международныйнаучныйжурнал №10(100), часть2 
«
Научный импульс» Мая, 2023 
795 
Maxraj gradientlarning o‘rtacha kvadratlarining ildizi bo‘lganligi sababli (root mean 
square), biz (10) formuladagi maxrajni quyidagicha belgilaymiz: 
γ = 0.9 qiymatini berish orqali, biz RMSProp algoritmi uchun yangilanish qoidasini 
olamiz (Hinton, 2012, *14+). RMSProp va Adadelta algoritmlari deyarli bir vaqtning o‘zida va 
bir-biridan mustaqil ravishda ishlab chiqilgan va o‘xshash, faqat Adadeltadagi o‘qitish 
tezligi koeffitsienti vazn o‘zgarishining o‘rtacha kvadratlarining ildizi bilan almashtiriladi. 
Adadelta uchun vaznlarni yangilash qoidasi quyidagicha ko‘rinishga ega: 
Adaptiv momentni baholash usuli (Adam, [15]) - bu o‘lchovni yangilash qoidasi Adam 
uchun ikki xil momentning taxminlaridan foydalanish asosida aniqlanadi ( (13) va (14) 
formulalar), birinchisi ilgari hisoblangan qisman hosila qiymatlaridan foydalanadi (moment 
usulida bo‘lgani kabi) va ikkinchisida ularning kvadratlari (rmsprop-da bo‘lgani kabi)dan 
foydalaniladi. Adam usuli β
1
, β
2
giperparametrlari qiymatlarini tanlashga nisbatan ancha 
chidamli hisoblanadi va shuning uchun ko‘pincha standart usul sifatida taklif etiladi. 
Hisoblangan momentlar (15) formulalar bo‘yicha tuzatiladi va keyin (16) formula 
bo‘yicha og‘irliklar qayta hisoblab chiqiladi: 
Shunday qilib, mavjud zamonaviy gradient usullari optimallashtirish algoritmlari bilan 
bog‘liq muammolarni, masalan, mahalliy minimal konvergentsiya, noyob xususiyatlarni tan 
olmaslik va optimal o‘rganish tezligini moslashuvchan sozlash kabi muammolarni bartaraf 
etish uchun ko‘plab mexanizmlarga ega. Adaptiv usullar *16, 17+ manbalarda batafsil ko‘rib 
chiqilgan.