Neyron tarmoqni o‘qitish usullari va algoritmlari quvvatali Raximov Ortiqovich

Impuls usullari 
Gradient tushish usulining ma’lum kamchiliklaridan biri bu konveks bo‘lmagan 
maqsad funktsiyasi holatida optimal nuqta sifatida mahalliy minimalni tanlash 
muammosidir. Ushbu muammo mashinani o‘rganish vazifalarida juda keng tarqalgan, 
chunki ko‘pincha xatolar funktsiyasi ko‘p ekstremal bo‘lib, bu klassik yoki stoxastik gradient 
tushish natijasida noto‘g‘ri natijalarga olib keladi. 
Ushbu xususiyat (4) munosaba bilan tavsiflangan oldingi gradientlarning qiymatlarini 
to‘plash orqali impuls usullari guruhida hisobga olinadi. 
μ = γ da (4) formulada Nesterov usuli *8+, γ = 0 holatida esa ushbu ishda ko‘rib 
chiqiladigan momentlar usulini ifodalaydi. 
Moment usuli [9] 
Stoxastik gradient, shuningdek, jarlik maqsadli xato funktsiyasi holatida tez-tez 
ishlamaydi, ya'ni o‘zgaruvchilardan biriga nisbatan qiymati boshqa yo‘nalishlarga 
qaraganda ancha tez o‘zgarib turadigan funktsiya bo‘lganligi sababli bu funksiyadan 
foydalanib bo‘lmaydi. Bunday holda, o‘rganish tugashidan ancha oldin ko‘pchilik 
neyronlarning chiqish qiymatlari faollashtirish funktsiyasining asimptotik qiymatlariga 
yaqinlashadi va tarmoq falaji deb ataladigan narsa paydo bo‘ladi, ya'ni og‘irlik 
koeffitsientlari deyarli o‘zgarishni to‘xtatadi. Natijada, o‘qitish jarayoni sezilarli darajada 
sekinlashadi. Gradient tushish usulining eng oddiy yaxshilanishi - bu gradientning vazn 
o‘zgarishiga ta’siri vaqt o‘tishi bilan to‘planadigan momentni kiritishdir. 
Shunday qilib, agar gradient bir xil yo‘nalishga ishora qilsa, moment yangilanish 
tezligini oshiradi va gradient yo‘nalishini o‘zgartirsa kamayadi. Natijada, bunday 
modifikatsiya konvergentsiyaning tezlashishiga va tebranishlarning tekislanishiga olib 
keladi. 
 
 

---

Международныйнаучныйжурнал №10(100), часть2 
«
Научный импульс» Мая, 2023 
794