Neyron tarmoqlarni

6-AMALIY MASHG’ULOT

Neyron tarmoqlarni regulyarizatsiyalash.


Ishdan maqsad: Neyron tarmoqlarni regulyarizatsiyalash ko’nikmalariga ega bo’lish.

NAZARIY QISM

Regulyarizatsiya- (ingliz tili. regularization)statistikada, mashinani o'rganishda, teskari nazariya noto'g'ri muammoni hal qilish yoki qayta o'qitishdan qochish uchun vaziyatga qo'shimcha cheklovlar kiritish usuli hisoblanadi. Ko'pincha, bu ma'lumot modelning murakkabligi uchun jarima shakliga ega, misol sifatida, chiziqli regressiya modellarini ko'rib chiqing. Bir nechta nuqtalarga qaramlikni tiklash uchun turli darajadagi m polinomlari bilan harakat qilishingiz mumkin.

1-shakl bo'yicha. ma'lumotni tavsiflash uchun juda mos bo'lgan qaramlikni taqdim etadi 2-shakl ta'lim namunasi uchun juda o'tkir model.

Ma'lumotlarga ortiqcha moslashuvning salbiy ta'siriga qarshi kurashish usullaridan biri-tartibga solishdan foydalanish, ya'ni.lineer modeldagi koeffitsientlarning katta qiymatlari uchun ba'zi jarimalar qo'shilishi. Shunday qilib, juda "o'tkir" egiluvchanlik taqiqlanadi va qayta o'qitishni oldini oladi. Logistik regressiyadan foydalanganda tartibga solish zarurati boshqa misolda ham ko'rish mumkin. Tasavvur qiling-a, sizning ta'lim namunangiz chiziqli ravishda bo'linadi.

Bunday holda, tarozi qiymatini optimallashtirish jarayonida model abadiylikka o'tadi va sigmoyda o'rniga "qadam" paydo bo'ladi.

Bu yomon, chunki ta'lim namunasi ostida keskinlashuv yuz berdi. Avvalgi misolda bo'lgani kabi, bu bilan kurashishingiz mumkin regulatorni qo'shib, tarozilarga juda katta qiymatlarni berishga imkon bermaydi.

Regulyarizatsiyalashning asosiy turlari. Ko'p hollarda qayta o'qitish, yakuniy modellar parametrlarning juda katta qiymatiga ega ekanligi bilan namoyon bo'ladi. Shunga ko'ra, buning uchun maqsadli funktsiyaga jarima qo'shish kerak. Tartibga solishning eng ko'p ishlatiladigan turlari — L1 va L2, shuningdek ularning chiziqli kombinatsiyasi-elastik tarmoq.
Ampirik xavf uchun quyidagi formulalarda Q: L-yo'qotish funktsiyasi va algoritm modelidan g(x,b) parametrlarining b — vektori va l — tartibga solish koeffitsienti bo'lgan salbiy bo'lmagan giperparametr. Algoritmlarni tartibga solish uchun motivatsiya bu algoritmlar ustidan nazoratni yo'qotish, uning inson hayotiga ta'siri kuchayadi. Avtomatlashtirilgan kredit ballarini hisoblashda bir nechta davlatlar allaqachon qoidalarni joriy qilishgan.tushuntirish huquqi ushbu algoritmlar uchun majburiydir.
Regularizatsiya shuningdek, neyron tarmoqlarda ham juda katta tarmoq og'irliklari va qayta o'qitish bilan kurashish uchun ishlatiladi. Biroq, bu holda, l1-regulyator yordamida koeffitsientlarni nollash chiziqli modellarda bo'lgani kabi, "belgilarni tanlash" ma'nosini ham o'z ichiga olmaydi. Afsuski, tartibga solish parametrlarning sonini kamaytirmaydi va tarmoq tuzilishini soddalashtirmaydi. Asab tarmog'i
uchun ampirik xavfga nisbatan jazo muddatini qo'shib qo'yishdan tashqari, qayta o'qitishga qarshi kurashning yana bir usuli — tarmoqni yupatish (ingliz tili. xato funktsiyasi o'zgarmaydi bo'lsa, tarmoq yanada soddalashtirish mumkin — qoida asosida, tarmoq soddalashtirish qaysi davomida dropout). Bu haqda ko'proq ma'lumotni neyron tarmoqlarni amalga oshirish amaliyoti haqida hikoya qiluvchi maqolada o'qish mumkin.
L2-tartibga solish, yoki tartibga solish Tixonov (eng. ridge tartibga solish yoki Tikhonov tartibga solish):

Q(β,Xl)=∑i=1lL(yi,g(xi,β))+λ∑j=1nβj2Q(β,Xl)=∑i=1lL(yi,g(xi,β))+λ∑j=1nβj2.

Tegishli ravishda tartibga solinadigan ampirik xavfni minimallashtirish bunday parametr vektorini tanlashga olib keladi b, bu noldan juda ko'p farq qilmaydi. Lineer tasniflagichlarda bu multicollinerlik va qayta o'qitish muammolarini bartaraf etishga imkon beradi.

L1-tartibga solish (eng. lasso regularization), yoki nafasni masofa orqali tartibga solish:

Q(β,Xl)=∑i=1lL(yi,g(xi,β))+λ∑j=1n|βj|Q(β,Xl)=∑i=1lL(yi,g(xi,β))+λ∑j=1n|βj|.

Tartibga solish, bu turi, shuningdek, vektor b qadriyatlarini cheklash imkonini beradi. Biroq, bundan tashqari, u amaliyotda qiziqarli va foydali xususiyatga ega

— ba'zi parametrlarning qiymatlarini nolga keltiradi, bu esa chiziqli modellar uchun xususiyatlarni tanlashga olib keladi.