Mustaqil ishi mavzu: Bajardi

Misollar

• 
  Modelga asoslangan va ketma-ket xususiyatlarni tanlash
  

4.1. L1-ga asoslangan funksiya tanlash
L1 normasi bilan jazolangan chiziqli modellar siyrak echimlarga ega: ularning ko'p taxminiy koeffitsientlari nolga teng. Maqsad boshqa tasniflagich bilan foydalanish uchun ma'lumotlarning o'lchamini kamaytirish bo'lsa, ularSelectFromModel nolga teng bo'lmagan koeffitsientlarni tanlash uchun ishlatilishi mumkin. Xususan, bu maqsad uchun foydali bo'lgan siyrak baholovchilarLassoregressiya, vaLogisticRegressiontasniflashLinearSVC uchun:


>>> from sklearn.svm import LinearSVC
>>> from sklearn.datasets import load_iris
>>> from sklearn.feature_selection import SelectFromModel
>>> X, y = load_iris(return_X_y=True)
>>> X.shape
(150, 4)
>>> lsvc = LinearSVC(C=0.01, penalty="l1", dual=False).fit(X, y)
>>> model = SelectFromModel(lsvc, prefit=True)
>>> X_new = model.transform(X)
>>> X_new.shape
(150, 3)

SVM va logistik regressiya bilan parametr C siyraklikni nazorat qiladi: C qanchalik kichik bo'lsa, shuncha kam funksiya tanlanadi. Lasso bilan alfa parametri qanchalik baland bo'lsa, kamroq xususiyatlar tanlanadi.

Misollar:

• 
  Lasso zich va siyrak ma'lumotlarga .
  

L1-qayta tiklash va bosimni sezish
Yaxshi alfa tanlash uchun Lasso , ma'lum shartlar bajarilgan taqdirda, faqat bir nechta kuzatishlar yordamida nolga teng bo'lmagan o'zgaruvchilarning aniq to'plamini to'liq tiklashi mumkin. Xususan, namunalar soni "etarli darajada katta" bo'lishi kerak yoki L1 modellari tasodifiy ishlaydi, bu erda "etarli darajada katta" nolga teng bo'lmagan koeffitsientlar soniga, xususiyatlar sonining logarifmiga, shovqin miqdoriga, nol bo'lmagan koeffitsientlarning eng kichik mutlaq qiymati va dizayn matritsasining tuzilishi X. Bundan tashqari, dizayn matritsasi juda o'zaro bog'liq bo'lmagan kabi ma'lum o'ziga xos xususiyatlarni ko'rsatishi kerak.
Nolga teng bo'lmagan koeffitsientlarni tiklash uchun alfa parametrini tanlashning umumiy qoidasi yo'q. Bu o'zaro tekshirish ( LassoCVyoki LassoLarsCV) orqali o'rnatilishi mumkin, ammo bu kam jazolangan modellarga olib kelishi mumkin: tegishli bo'lmagan o'zgaruvchilarning oz sonini kiritish bashorat balliga zarar keltirmaydi. BIC ( LassoLarsIC), aksincha, alfa ning yuqori qiymatlarini o'rnatishga intiladi.
Malumot Richard G. Baraniuk “Compressive Sensing”, IEEE Signal Processing Magazine [120] 2007 yil iyul http://users.isr.ist.utl.pt/~aguiar/CS_notes.pdf