Neyron tarmoqni o‘qitish usullari va algoritmlari quvvatali Raximov Ortiqovich

2. KVAZINYUTON USULLARI. BFGS, L-BFGS 
Yuqorida ko‘rib o‘tilgan metodlardan tashqari, maqsadli xato funktsiyasining ikkinchi 
xususiy hosilalarini hisoblash asosida ikkinchi darajali usullar guruhi ham mavjud. Bunday 
usullar ancha aniq va tezroq yaqinlashishga ega, ammo ularni amalga oshirish murakkab va 
katta xotira xarajatlarini talab qiladi. Biz quyida Kvazinyuton usullari sinfini ko‘rib chiqamiz, 
unda vazn koeffitsientlarining yangilanishi xatolarning maqsadli funktsiyasining Gessian 
bahosini hisoblash orqali amalga oshiriladi, shu bilan birga ular shaklan birinchi darajali 

---

Международныйнаучныйжурнал №10(100), часть2 
«
Научный импульс» Мая, 2023 
796 
usullar bo‘lib qoladilar, chunki ular ikkinchi xususiy hosilalar matritsasini to‘g‘ridan-to‘g‘ri 
hisoblash va teskari aylantirish hosil qilmaydi. 
Broyden-Fletcher-gol-dfarba-Shanno algoritmi (BFGS, [18]) 
Klassik BFGS algoritmining to‘liq shaklini ko‘rib chiqamiz. Algoritm maqsadli 
funktsiyaning teskari Hessian H
n
bahosini yangilaydi, η
N
parametri bir o‘lchovli qidirish 
protsedurasi yordamida aniqlanadi. BFGS algoritmining murakkabligi bahosi O(n
2
) tashkil 
etadi. 
Klassik BFGS usuli algoritmi: 
1-qadam. N := 0 ; 
2-qadam. H
0
= I 
3-qadam. ∇E(w
N
) > ε bo‘lganda, 
1. p
N
= −H
N
∇E(w
N
) 
 
 
4-qadam. w
N
 – echim 
Broyden – Fletcher –Goldfarb – Shanno cheklangan xotira algoritmi (L-BFGS [19]) 
Ushbu algoritm O(n
2
) murakkablikni qo‘llash mumkin bo‘lmagan hollarda, katta 
ma’lumotlar ob'ektlarida optimallashtirish muammolarini hal qilish uchun maxsus ishlab 
chiqilgan BFGS algoritmining modifikatsiyasidir. L-BFGS uchun teskari gessianni baholash 
faqat so‘nggi m iteratsiyalari ma’lumotlari asosida amalga oshiriladi. Ushbu usulda 
kvazinyuton yo‘nalishi bo‘yicha harakat matritsalardan foydalanmasdan, s va y 
vektorlarining m oxirgi vektorlarini o‘z ichiga olgan halqa buferini hosil qilish orqali amalga 
oshiriladi. 
Ushbu usulni amalga oshirish uchun yuqoridagi algoritmini quyidagicha o‘zgartirish 
kerak: 
- 2 va 3.6-3.8-bosqichlarni chiqarib tashlash; 
-3.1-bosqichni L-BFGS yo‘nalishini o‘zgartirish algoritmi bilan almashtirish. 
Ushbu almashtirishlar natijasida, algoritmning murakkabligi O(n
2
 ) dan O(m
⋅
n) gacha 
kamayadi. 

---

Международныйнаучныйжурнал №10(100), часть2 
«
Научный импульс» Мая, 2023 
797 
L-BFGS usuli yo‘nalishlarini o‘zgartirish algoritmi: 
Aytaylik ∀i =1, 2,..., min(t,m), bo‘lsin, s
N-i
, y
N-i
– parametrlar BFGS olinsin. 
2. 
uchun: 
3. N>0 bo‘lsa,
4. i = min(t, m),..., 2,1 uchun