Neyron tarmoqlari

Oʻrganish darajasi[tahrir | manbasini tahrirlash]
Oʻrganish tezligi modelning har bir kuzatishdagi xatolarni tuzatish uchun koʻrsatadigan tuzatish qadamlari hajmini belgilaydi.^[50] Yuqori oʻrganish tezligi mashgʻulot vaqtini qisqartiradi, ammo past aniqlik bilan, pastroq oʻrganish koʻproq vaqt talab etadi, lekin aniqroq boʻlishi mumkin. Quickprop kabi optimallashtirishlar, birinchi navbatda, xatolarni minimallashtirishni tezlashtirishga qaratilgan boʻlsa, boshqa yaxshilanishlar asosan ishonchlilikni oshirishga harakat qiladi. Tarmoq ichidagi tebranishlarni, masalan, ulanish ogʻirliklarining oʻzgarishini oldini olish va konvergentsiya tezligini yaxshilash uchun takomillashtirish moslashtirilgan oʻrganish tezligidan foydalanadi, bu mos ravishda oshiradi yoki kamayadi.^[51] 0 ga yaqin momentum gradientni taʼkidlaydi, 1 ga yaqin qiymat esa oxirgi oʻzgarishlarni taʼkidlaydi.