5-ma’ruza. Mashinali o’qitishda chiziqli regressiya masalasi. Bir o’zgaruvchili chiziqli regressiya

Kichrayishni ta'minlashning usullaridan biri bu jazo muddatini qo'shish,, yo'qotish funktsiyasiga. Ushbu jazo muddati L2 normasi yoki L2 jarimasi sifatida ham tanilgan. U kvadrat vektor qiymatlari yig'indisining kvadrat ildizi sifatida hisoblanadi. Ushbu atama regressiya koeffitsientlarini nolga kamaytirishga yordam beradi. Yangi yo'qotish funktsiyasi quyidagicha, qaerda bu modeldagi parametrlar / koeffitsientlar soni va tenglamadagi jurnalni yo'qotish funktsiyasi. Ushbu jarimaga tortilgan yo'qotish funktsiyasi "tizma regressiyasi" deb nomlanadi (Hoerl va Kennard 1970). Penalti qo'shganda, optimallashtirish protsedurasi umumiy yo'qotish funktsiyasini minimal darajada ushlab turishning yagona usuli bu koeffitsientlarga kichikroq qiymatlarni belgilashdir. The parametr jazo muddatiga qancha ahamiyat berilishini nazorat qiladi. Qanchalik baland bo'lsa qiymati bo'lsa, regressiyadagi koeffitsientlar nolga yaqinlashadi. Biroq, ular hech qachon to'liq nolga teng bo'lmaydi.

Kichrayishni ta'minlashning usullaridan biri bu jazo muddatini qo'shish,, yo'qotish funktsiyasiga. Ushbu jazo muddati L2 normasi yoki L2 jarimasi sifatida ham tanilgan. U kvadrat vektor qiymatlari yig'indisining kvadrat ildizi sifatida hisoblanadi. Ushbu atama regressiya koeffitsientlarini nolga kamaytirishga yordam beradi. Yangi yo'qotish funktsiyasi quyidagicha, qaerda bu modeldagi parametrlar / koeffitsientlar soni va tenglamadagi jurnalni yo'qotish funktsiyasi. Ushbu jarimaga tortilgan yo'qotish funktsiyasi "tizma regressiyasi" deb nomlanadi (Hoerl va Kennard 1970). Penalti qo'shganda, optimallashtirish protsedurasi umumiy yo'qotish funktsiyasini minimal darajada ushlab turishning yagona usuli bu koeffitsientlarga kichikroq qiymatlarni belgilashdir. The parametr jazo muddatiga qancha ahamiyat berilishini nazorat qiladi. Qanchalik baland bo'lsa qiymati bo'lsa, regressiyadagi koeffitsientlar nolga yaqinlashadi. Biroq, ular hech qachon to'liq nolga teng bo'lmaydi.

Agar model muhim o'zgaruvchilarni tanlashini istasak, bu kerak emas. Jazoning kichik modifikatsiyasi - ning mutlaq qiymatlaridan foydalanish kvadrat qiymatlari o'rniga. Ushbu jazo "L1 normasi" yoki "L1 jarimasi" deb nomlanadi. L1 jazosidan foydalanadigan regressiya usuli "Lasso regressiyasi" (Tibshirani 1996) deb nomlanadi. Biroq, L1 jazosi taxminiy o'zgaruvchilar o'zaro bog'liq bo'lganda tasodifiy bitta o'zgaruvchini tanlashga intiladi. Bunday holda, o'zgaruvchilardan biri muhim emas, ammo u hali ham bashorat qilish qobiliyatiga ega bo'lishi mumkin. Boshqa tomondan, Ridge regressiyasi o'zaro bog'liq o'zgaruvchilar koeffitsientlarini bir-biriga nisbatan kamaytiradi va ularning hammasini saqlaydi. Lasso ham, Ridj regressiyasining ham kamchiliklari va afzalliklari borligi ko'rsatilgan (Fridman, Xasti va Tibshirani 2010). Yaqinda ikkala dunyoning eng yaxshisini o'z ichiga olgan "elastik to'r" deb nomlangan usul taklif qilindi (Zou va Xasti 2005). Ushbu usul L1 va L2 jarimalaridan foydalanadi. Quyidagi tenglama ushbu penalti bo'yicha o'zgartirilgan yo'qotish funktsiyasini ko'rsatadi. Ko'rib turganingizdek parametr hali ham penaltiga berilgan og'irlikni boshqaradi. Bu safar qo'shimcha parametr L1 yoki L2 jarimasiga berilgan og'irlikni boshqaradi va bu 0 dan 1 gacha bo'lgan qiymatga teng.Endi biz kontseptsiyani tartibga solish ortida oldik va uning amalda qanday ishlashini ko'rishimiz mumkin. Biz o'simtaning pastki turini bashorat qilish muammosida elastik to'rdan foydalanamiz.