Neyron tarmoqni o‘qitish usullari va algoritmlari quvvatali Raximov Ortiqovich

1. GRADIENT TUSHISH USULINING TURLI XIL DASTURLARI 
Stoxastik gradient (SGD) 
Stoxastik gradient tushish algoritmi *6, 7+ har bir qadamda o‘qitish namunasining 
yagona i misolidan foydalangan holda neyron tarmoqning og‘irlik koeffitsientlarini 
yangilashni o‘z ichiga oladi. 
bu erda (x
(i)
 , y
(i)
) – i-o‘tish uchun to‘plam. 
SGD keraksiz hisob-kitoblarni amalga oshirmaydi, chunki klassik gradient tushishidan 
farqli o‘laroq, algoritm xatolarining funktsiyasi butun o‘quv namunasi bo‘yicha emas, balki 
faqat bitta misol bo‘yicha hisoblanadi va shuning uchun algoritm ancha tezroq o‘rganiladi, 
shuningdek, "parvozda" o‘rganish imkoniyatini beradi, ya'ni. yangi misollar to‘g‘ridan-
to‘g‘ri tarmoq kirishiga berilishi mumkin o‘quv jarayonida. 
Biroq, har bir SGD bosqichida gradientni hisoblash dastlabki ma’lumotlar to‘plamining 
turli misollari asosida amalga oshirilganligi sababli, og‘irlik koeffitsientlarining yangilanishi, 
1-rasmda ko‘rsatilgandek, maqsad funktsiyasining tez-tez o‘zgarishi bilan birga keladi. 
Shunday qilib, bir tomondan, SGD potentsial eng yaxshi lokal minimumlarga tez o‘tish 
imkonini beradi, boshqa tomondan, katta tebranishlar konvergentsiyani sezilarli darajada 
sekinlashtiradi. Biroq, agar neyronni o‘qitish jarayoniga o‘rganish tezligining dinamik 
pasayishi kiritilsa, SGD klassik gradient tushishiga o‘xshash aniqlik bilan yechimga erishishi 
isbotlangan [7]. 

---

Международныйнаучныйжурнал №10(100), часть2 
«
Научный импульс» Мая, 2023 
793 
1-rasm. SGD usulida o‘rganish iteratsiyasiga qarab maqsadli funktsiyaning o‘zgarishi 
Mini paketli gradient tushish 
Mini-paketli gradient tushish klassik va stoxastik gradient usullarining afzalliklarini 
birlashtirgan n o‘quv misollaridan tashkil topgan har bir mini-paket uchun gradient hisobini 
ishlab chiqaradi: 
50 dan 256 gacha bo‘lgan mini-paketdagi gradientni hisoblash odatda zamonaviy 
chuqur o‘rganish kutubxonalarida ishlatiladigan yuqori samarali matritsa operatsiyalari 
orqali juda samarali amalga oshiriladi. Shuningdek, alohida misollardan emas, balki asl 
namunadagi vektorlarning qisman to‘plamlaridan foydalangan holda, ushbu usul SGD bilan 
taqqoslaganda ancha barqaror yaqinlashishni ta’minlaydi.