14 mavzu. Neyron tarmoqni o’qitish masalasi. Neyron tarmoq aniqligini oshirish yo’llari. Reja

Mini-paketli usuli ikkala usulning afzalliklarini birlashtirishga harakat qiladi. Bu erda prinsip quyidagicha: vaznlar guruhlar o'rtasida erkin taqsimlanadi va ularning vaznlarini ma'lum bir guruhdagi barcha vaznlarning Δw yig'indisi bilan o'zgartiradi.
Giperparametrlar nima?
Giperparametrlar - bu qo'lda va ko'pincha sinov va xato bilan tanlanishi kerak bo'lgan qiymatlar. Ushbu qiymatlar orasida:
• o'rganish momenti va tezligi;
• yashirin qatlamlar soni;
• har bir qatlamdagi neyronlarning soni;
• siljuvchi neyronlarning mavjudligi yoki yo'qligi.
Boshqa turdagi NTlarida qo'shimcha giperparametrlar mavjud. To'g'ri giperparametrlarni tanlash juda muhim va bu NTning yaqinlashishiga bevosita ta'sir qiladi. Neyronlar qancha ko'p bo'lsa, natija shunchalik aniq bo'ladi va lekin uni o'qitishga qancha vaqt sarflanadi. Shunga qaramay, oddiy muammolarni hal qilish uchun 1000 ta neyron bilan NT yaratish kerakligini yodda tutish kerak. Ammo vaqtni tanlash va o'rganish tezligi bilan hamma narsa biroz murakkabroq kechadi. Ushbu giperparametrlar masalaga va NT arxitekturasiga qarab turlicha bo'ladi. Masalan, XOR yechimi uchun o'rganish tezligi 0,3 - 0,7 oralig'ida bo'lishi mumkin, ammo aksiyalar narxini tahlil qiladigan va bashorat qiladigan neyron tarmog'ida 0,00001 dan yuqori bo'lgan o'qish tezligi neyron tizimining yomon yaqinlashishiga olib keladi. Hozircha giperparametrlarga e'tibor bermasdan ularni qanday tanlashni yaxshilab tushunishga harakat qilish kerak. Bu tajriba bilan keladi.
Yaqinlashish nima?
Yaqinlashish neyron tarmog'i arxitekturasi to'g'ri yoki yo'qligini va giperparametrlar qo'yilgan masalaga muvofiq to'g'ri tanlanganligini ko'rsatadi. Aytaylik, bizning dasturimiz har bir takrorlashda neyron tizimining xatosini jurnalga chiqaradi. Agar har bir takrorlash bilan xato kamaysa, demak biz to'g'ri yo'ldamiz va bizning neyron tarmog'imiz birlashmoqda. Agar xatolik yuqoriga va pastga sakrab tushsa yoki ma'lum darajada qotib qolsa, u holda neyron tarmog’imiz yaqinlashmaydi. 99% hollarda, bu giperparametrlarni o'zgartirish orqali hal qilinadi. Qolgan 1% sizning NT arxitekturasida xatolik borligini anglatadi. Shuningdek, yaqinlashishga neyron tarmog'ining qayta o'qitilishi ta'sir qiladi.