5-ma’ruza. Mashinali o’qitishda chiziqli regressiya masalasi. Bir o’zgaruvchili chiziqli regressiya

Qayta jihozlashning eng haddan tashqari versiyasi qachon sodir bo'ladi neyron tarmoqbuning barcha mashg'ulotlariga mos keladi. Bu neyron tarmoq juda ko'p parametrlarga ega bo'lganda va juda uzoq vaqt davomida o'qitilganda sodir bo'lishi mumkin.

Qayta jihozlashning eng haddan tashqari versiyasi qachon sodir bo'ladi neyron tarmoqbuning barcha mashg'ulotlariga mos keladi. Bu neyron tarmoq juda ko'p parametrlarga ega bo'lganda va juda uzoq vaqt davomida o'qitilganda sodir bo'lishi mumkin.

Regulyarizatsiya ta'lim algoritmiga barqarorlikni qo'shib, ma'lumotlar va o'quv jarayonlariga nisbatan kamroq sezgir bo'ladi. Bizning baholash funktsiyamizni taqqoslash uchun biz foydalana oladigan haqiqiy xususiyatni bilmasligimiz yoki bilmasligimiz sababli, eng yaxshi strategiya o'quv ma'lumotlariga (qayta jihozlash) juda yaxshi mos keladigan juda murakkab modelni yaratish va uni tartibga solishdir. Tartibga solishdan foydalanib, biz umumlashma xatosini kamaytirishga harakat qilamiz va bu jarayonda o'rganish xatosining oshishiga olib kelishi mumkin va bu odatiy holdir, chunki biz modelning qanchalik yaxshi umumlashtirilishiga qiziqamiz. Regularizatsiya yordamida biz juda murakkab modelni qaytarib olishga harakat qilmoqdamiz, bu esa yaxshi modelga qayta moslashishga, ofsetlarni oshirishga va farqni kamaytirishga olib keladi. Bu murakkab modeldagi katta parametrlarga ega bo'lgan va oddiy model kichik parametrlarga ega bo'lgan taxminga asoslanadi.

Regulyarizatsiya-qayta jihozlashni bartaraf etishning samarali usuli. Haqiqiy ma'lumot taqsimotini bilmasligimiz sababli, ampirik taqsimotga asoslangan ampirik xavf qayta o'qitishga moyil. Shunday qilib, eng yaxshi strategiya, albatta, ta'lim ma'lumotlariga juda mos keladi va keyin modelni yaxshi umumlashtirishi uchun Regulyarizatsiya usulini qo'llaydi. L2 parametrini tartibga solish, Dropout bilan birga, mashinani o'rganishda eng ko'p ishlatiladigan regulyarizatsiya usullari hisoblanadi.

Regulyarizatsiya-qayta jihozlashni bartaraf etishning samarali usuli. Haqiqiy ma'lumot taqsimotini bilmasligimiz sababli, ampirik taqsimotga asoslangan ampirik xavf qayta o'qitishga moyil. Shunday qilib, eng yaxshi strategiya, albatta, ta'lim ma'lumotlariga juda mos keladi va keyin modelni yaxshi umumlashtirishi uchun Regulyarizatsiya usulini qo'llaydi. L2 parametrini tartibga solish, Dropout bilan birga, mashinani o'rganishda eng ko'p ishlatiladigan regulyarizatsiya usullari hisoblanadi.