Mustaqil ishi mavzu: Bajardi

4.2. Daraxtga asoslangan xususiyatni tanlash
Daraxtga asoslangan hisoblagichlar ( sklearn.treemoduldagi daraxtlarning moduli va o'rmoniga qarang sklearn.ensemble) nopoklikka asoslangan xususiyat ahamiyatini hisoblash uchun ishlatilishi mumkin, bu esa o'z navbatida ahamiyatsiz xususiyatlardan voz kechish uchun ishlatilishi mumkin (meta-transformator bilan birlashganda SelectFromModel ):


>>> from sklearn.ensemble import ExtraTreesClassifier
>>> from sklearn.datasets import load_iris
>>> from sklearn.feature_selection import SelectFromModel
>>> X, y = load_iris(return_X_y=True)
>>> X.shape
(150, 4)
>>> clf = ExtraTreesClassifier(n_estimators=50)
>>> clf = clf.fit(X, y)
>>> clf.feature_importances_
array([ 0.04..., 0.05..., 0.4..., 0.4...])
>>> model = SelectFromModel(clf, prefit=True)
>>> X_new = model.transform(X)
>>> X_new.shape
(150, 2)
Misollar:

• 
  Daraxtlar o'rmonidagi xususiyatlarning ahamiyati : haqiqiy mazmunli xususiyatlarning tiklanishini ko'rsatadigan sintetik ma'lumotlarga misol.
  
• 
  Parallel daraxtlar o'rmoni bilan piksel ahamiyati : yuzni aniqlash ma'lumotlariga misol.
  

5. Ketma-ket funksiya tanlash
Transformatorda Sequential Feature Selection [sfs] (SFS) mavjud SequentialFeatureSelector. SFS oldinga yoki orqaga bo'lishi mumkin:
Forward-SFS - bu tanlangan xususiyatlar to'plamiga qo'shish uchun eng yaxshi yangi xususiyatni takroriy topadigan ochko'z protsedura. Aniqroq qilib aytganda, biz dastlab nol xususiyatdan boshlaymiz va baholovchi ushbu yagona xususiyat bo'yicha o'qitilganda o'zaro tasdiqlangan ballni maksimal darajada oshiradigan bitta xususiyatni topamiz. Birinchi xususiyat tanlangandan so'ng, tanlangan xususiyatlar to'plamiga yangi xususiyat qo'shish orqali protsedurani takrorlaymiz. Parametr tomonidan aniqlangan tanlangan xususiyatlarning kerakli soniga erishilganda protsedura to'xtaydi n_features_to_select.
Backward-SFS xuddi shu g'oyaga amal qiladi, lekin teskari yo'nalishda ishlaydi: hech qanday xususiyatsiz boshlash va ochko'zlik bilan xususiyatlarni qo'shish o'rniga, biz barcha xususiyatlardan boshlaymiz va xususiyatlarni to'plamdan ochko'zlik bilan olib tashlaymiz . Parametr directionoldinga yoki orqaga SFS ishlatilishini nazorat qiladi.
Umuman olganda, oldinga va orqaga tanlov ekvivalent natijalarni bermaydi. Bundan tashqari, tanlangan xususiyatlarning so'ralgan soniga qarab biri boshqasidan ancha tezroq bo'lishi mumkin: agar bizda 10 ta xususiyat mavjud bo'lsa va 7 ta tanlangan xususiyatni so'rasak, oldinga tanlash 7 ta takrorlash, orqaga tanlash esa faqat 3 ta takrorlash kerak bo'ladi.
SFS dan farq qiladi RFEva u yoki atributni SelectFromModelochish uchun asosiy modelni talab qilmaydi . Biroq, boshqa yondashuvlarga nisbatan ko'proq modellarni baholash kerakligi hisobga olinsa, u sekinroq bo'lishi mumkin. Masalan, orqaga qarab tanlashda k-katlama oʻzaro tekshirish yordamida funksiyalardan funksiyalarga oʻtish uchun mos modellar kerak boʻladi, holbuki, faqat bitta moslama kerak boʻladi va har doim faqat bitta mos keladi va hech qanday iteratsiyani talab qilmaydi.coef_feature_importances_mm - 1m * kRFESelectFromModel