Yadro tizmasi regressiyasi

Yadro tizmasi regressiyasi
Biz SVMlar haqida, hatto tasniflash haqida gapirmaslikdan boshlaymiz. Buning o'rniga, biz belgining biroz o'zgarishi bilan tizma regressiyasini qayta ko'rib chiqamiz. Kirishlar to'plami {(xi,yi)} bo'lsin, bu erda i namunalarni indekslaydi. Muammo minimallashtirishdir
^X x_i w − y_i² + λw w i

Agar w ga nisbatan hosilani olib, uni nolga qo'ysak, olamiz

T
0 = ^X2x_i(x_i w − y_i) + 2λw

i

T
w = ^Xx_ix_i + λI^{−1 X}x_iy_i. i i

Keling, ba'zi Lagrange dualligidan foydalangan holda turli xil hosilani ko'rib chiqaylik. Agar biz yangi zi o'zgaruvchisini kiritsak va uni w xi va yi o'rtasidagi farq sifatida cheklasak, bizda shunday bo'ladi.

min
^w,z 2^{z z +} 2^{λw w}


s.t. z_i = x_i w − y_i.
Yadro usullari va SVMlar

Agar w ga nisbattan hosilani olib, uni nolga qo’ysak, olamiz

T
0 = X2xi(xi w − yi) + 2λw

i

T
w = Xxixi + λI−1 Xxiyi. I
Keling, ba'zi Lagrange dualligidan foydalangan holda turli xil hosilani ko'rib chiqaylik. Agar biz yangi zi o'zgaruvchisini kiritsak va uni w xi va yi o'rtasidagi farq sifatida cheklasak, bizda shunday bo'ladi.



min
^w,z 2^{z z +} 2^{λw w}
s.t. z_i = x_i w − y_i.

Lanranj ko’paytmalarini belgilash uchun aid an foydalanib, bu Langrajga ega

X
L = 2z z + 2λw w + i αi(xi w − yi − zi).
Lagrange ikkitomonlamasiga borganimizni eslang. Biz asl muammoni hal qilish orqali hal qila olamiz



α w,z
maxminL(w,z,α).

Boshlash uchun biz ichki minimallashtirishga hujum qilamiz: qattiq a uchun biz w va z ni minimallashtirish uchun hal qilmoqchimiz. Buni L ning zi va w ga nisbatan hosilalarini nolga teng qilib qo‘yishimiz mumkin. Shunday qilib, biz 1 ni topa olamiz

_zi _{= α}i_{, w∗ = −1} X_αi_xi

Demak, muammoni Lagranjni (a ga nisbatan) maksimallashtirish orqali hal qilishimiz mumkin, bunda yuqoridagi iboralarni zi va w ning o‘rniga qo‘yamiz. Shunday qilib, biz cheksiz maksimallashtirishga egamiz.

1

0 = _dzi = z_i − α_i

X
0 = _dw = λw + i α_ix<sub>i


Yadro usullari va SVMlar</sub>

α
maxL(w^∗(α),z^∗(α),α)


<sub>Tafsilotlarga sho'ng'ishdan oldin, biz bu erda juda qiziq bir narsa sodir bo'layotganini ko'rishimiz mumkin: w xi kirish vektorlarining yig'indisi bilan berilgan, og'irligi -ai/ λ. Agar biz shunchalik moyil bo'lsak, w ni aniq hisoblashdan qochib, yangi x nuqtasini to'g'ridan-to'g'ri ma'lumotlardan bashorat qilishimiz mumkin edi.


Endi k(xi,xj) = xi xj “yadro funksiyasi” bo‘lsin. Hozircha buni faqat yozuvning o'zgarishi deb hisoblang. Bundan foydalanib, biz yana tizma regressiya bashoratlarini quyidagicha yozishimiz mumkin</sub>


f(x) = −^{1 X}α_ik(x,x_if(x) = x w = −^{1 X}α_ix x_i. i
). i
_{Shunday qilib, bizga haqiqatan ham kerak bo'lgan narsa - x ning har bir o'quv elementi bilan ichki mahsuloti. Bu nima uchun foydali bo'lishi mumkinligiga keyinroq qaytamiz. Birinchidan, keling, Lagrange multiplikatorlari a bo'yicha maksimallashtirishga qaytaylik, u erda shunga o'xshash narsa sodir bo'ladimi yoki yo'qmi. Quyidagi matematika juda murakkab ko'rinadi. Biroq, biz qilayotgan barcha narsa tenglamadagi z∗ va w∗ ifodalarini almashtirishdir. 1.2, keyin juda ko'p manipulyatsiya qilish.}

α w,z
maxminL =

=

=

=
max ₂ i α_i + ₂λ −_λ i α_ix_i −_λ j α_jx_j + α_i(x_i −¹ α_jx_j − y_i − α_i)



j

i

α
max ^{1 X}α_i + ^{1 XX}α_iα_jx_i x_j − ^{1 XX}α_iα_jx_i x_j − ^Xα_i(y_i + α_i) i i j i j i

α
max−¹ α_i − ¹ α_iα_jx_i x_j − α_iy_i i i j i

α
max−^{1 X}α² − ^{1 XX}α_iα_jk(x_i,x_j) − ^Xα_iy_i.
i i j i

_{Shunga qaramay, bizga faqat ichki mahsulotlar kerak. Agar K matritsasini quyidagicha aniqlasak}


K_ij = k(x_i,x_j),
Yadro usullari va SVMlar
keyin biz buni punchier vektor yozuvida qayta yozishimiz mumkin
Yadro usullari va SVMlar
keyin biz buni punchier vektor yozuvida qayta yozishimiz mumkin
maxminL = max−₂α α − _2λα^T Kα − α y.


Bu yerda Kij yozuvlari boʻlgan matritsani belgilash uchun K bosh harfidan, yadro funksiyasi k(,) esa kichik k harfidan foydalanamiz. E'tibor bering, yadro mashinalari bo'yicha ko'pgina adabiyotlar ikkalasi uchun ham katta K harfini ishlatib, notatsiyani biroz suiiste'mol qiladi.


O'ngdagi narsa a dagi kvadratikdir. Shunday qilib, chiziqli tizimning yechimi sifatida optimalni topishimiz mumkin2. Muhimi shundaki, a bo'yicha optimallashtirishni amalga oshirish uchun bizga faqat k(xi,xj) = xi xj ma'lumotlarining ichki mahsuloti kerak bo'ladi. Keyin, a uchun yechilganimizdan so'ng, biz faqat ichki hosilalar yordamida yangi x uchun f(x) ni yana taxmin qilishimiz mumkin. Agar kimdir bizga barcha ichki mahsulotlarni aytsa, bizga asl ma'lumotlar {xi} umuman kerak emas!

i j I