Alimov Shohruhning "Bioinformatika va biomexanika"

Vektor regressiyasini qo'llab-quvvatlash
Siz SVM haqida eshitgan bo'lsangiz kerak, ya'ni qo'llab-quvvatlash vektor mashinasi. SVR ham xuddi shunday SVM g'oyasidan foydalanadi, ammo bu erda u haqiqiy qiymatlarni bashorat qilishga harakat qiladi. Ushbu algoritm ma'lumotlarni ajratish uchun giperplanlardan foydalanadi. Agar bu ajratish mumkin bo'lmasa, u yadro hiylasidan foydalanadi, bu erda o'lcham kattalashtiriladi va keyin ma'lumotlar nuqtalari giperplan bilan ajratiladi.

Yuqoridagi rasmda ko'k chiziq Giper tekislikdir; Qizil chiziq - bu chegara chizig'i
Barcha ma'lumotlar nuqtalari chegara chizig'i (Qizil chiziq) ichida. SVRning asosiy maqsadi chegara chizig'i ichidagi nuqtalarni hisobga olishdir.
Chet ellarga nisbatan mustahkam.
Ajoyib umumlashtirish qobiliyati
Yuqori bashorat aniqligi.
Kamchiliklari:
Katta ma'lumotlar to'plamlari uchun mos emas.
Ma'lumotlar to'plamida shovqin ko'proq bo'lsa, ular juda yaxshi ishlamaydi.
Amalga oshirish:


from sklearn.svm import SVR
import numpy as np
rng = np.random.RandomState(1)
X = np.sort(5 * rng.rand(80, 1), axis=0)
y = np.sin(X).ravel()
y[::5] += 3 * (0.5 - rng.rand(16))
# Fit regression model
svr = SVR().fit(X, y)
# Predict
X_test = np.arange(0.0, 5.0, 1)[:, np.newaxis]
svr.predict(X_test)


Output:
array([-0.07840308, 0.78077042, 0.81326895, 0.08638149, -0.6928019 ])
Lasso regressiyasi
LASSO qisqartmasi eng kam mutlaq tanlash qisqarish operatorini anglatadi. Qisqartirish, asosan, atributlar yoki parametrlarni cheklash sifatida aniqlanadi. Algoritm ba'zi o'zgaruvchilar uchun regressiya koeffitsientlarining nolga qisqarishiga olib keladigan model atributlariga cheklovni topish va qo'llash orqali ishlaydi.
Regressiya koeffitsienti nolga teng bo'lgan o'zgaruvchilar modeldan chiqarib tashlanadi. Shunday qilib, lasso regression tahlili asosan qisqarish va o'zgaruvchan tanlash usuli bo'lib, u bashorat qiluvchilarning qaysi biri eng muhim ekanligini aniqlashga yordam beradi.
Bu haddan tashqari moslashishni oldini oladi
Kamchiliklari:


LASSO o'zaro bog'liq xususiyatlar guruhidan faqat bitta xususiyatni tanlaydi
Tanlangan xususiyatlar juda tarafkash bo'lishi mumkin.
Amalga oshirish:
from sklearn import linear_model
import numpy as np
rng = np.random.RandomState(1)
X = np.sort(5 * rng.rand(80, 1), axis=0)
y = np.sin(X).ravel()
y[::5] += 3 * (0.5 - rng.rand(16))
# Fit regression model
lassoReg = linear_model.Lasso(alpha=0.1)
lassoReg.fit(X,y)
# Predict
X_test = np.arange(0.0, 5.0, 1)[:, np.newaxis]
lassoReg.predict(X_test)
Output:
array([ 0.78305084, 0.49957596, 0.21610108, -0.0673738 , -0.35084868])