Fan: Ma'lumotlar kommunikatsiyasi

Optimallashtirish muammosini olish uchun biz buni birlashtira olamiz:

"{\Displaystyle \|\mathbf {v} \|}\|\mathbf {v} \| mavzu {\displaystyle y_{i}(\mathbf {v} ^{\mathsf {T}}\mathbf {x} _{i}-b)\geq 1} {\displaystyle y_{i} (\mathbf {v} ^{\mathsf {T}}\mathbf {x} _{i}-b)\geq 1}uchun {\displaystyle i=1,\ldots ,n} i=1,\ldots ,n."

Ushbu masalani yechadigan {\displaystyle\mathbf {v}} \mathbf {v}} va {\displaystyle b} b klassifikatorimizni aniqlang, {\displaystyle \mathbf {x} \mapsto\operatorname {sgn} (\mathbf {v} ^{\mathsf {T}} \ mathbf {x} - b)} {\displaystyle \mathbf {x} \mapsto\operatorname {sgn} (\mathbf {v} ^{\mathsf {t}} \mathbf {x}- b)} bu yerda {\displaystyle\operatorname {sgn} (\cdot)}{\displaystyle \operatorname {sgn} (\cdot )} belgili funksiya.

Ushbu geometrik Tavsifning muhim natijasi shundaki, maksimal chegarali giperplane unga eng yaqin joylashgan {\displaystyle \mathbf {x} _{i}}\mathbf {x} _{i}} tomonidan to'liq aniqlanadi. Ushbu {\displaystyle \mathbf {x} _{i}}\mathbf {x} _ {i} qo'llab vektorlar deyiladi.

Chiziqli SVM

Ikki sinfdan namunalari bilan ta'lim bir SVM uchun maksimal-chet hiperplane va hoshiya. Chegaradagi namunalar qo'llab-quvvatlash vektorlari deb ataladi.

Bizga {\displaystyle n}n ko'rinishdagi nuqtalarning o'quv datasetasi berilgan

{\displaystyle (\mathbf {x} _{1}, y_{1}),\ldots, (\mathbf {x} _{n}, y_{n}),} {\displaystyle (\mathbf {x} _{1},y_{1}), \ldots , (\mathbf {x} _{n},y_{n}),}

bu yerda {\displaystyle y_{i}}y_{i}} 1 yoki -1 bo'lib, har biri {\displaystyle \mathbf {x} _{i}}\mathbf {x} _{i}} nuqta tegishli bo'lgan sinfni ko'rsatadi. Har bir {\displaystyle \mathbf {x} _{i}}\mathbf {x} _ {i} {\displaystyle p}p o'lchovli haqiqiy vektor. Biz {\displaystyle \mathbf {x} _{i}}\mathbf {x} _{i}} nuqtalar guruhini ajratuvchi "maksimum chegarali giperplane" ni topmoqchimiz, buning uchun {\displaystyle y_{i}=1}{\displaystyle y_{i} = 1} {\displaystyle Y_{i}=-1}{\displaystyle Y_{i}=-1} bo'lgan nuqtalar guruhidan giperplane va eng yaqin nuqta orasidagi masofa {\displaystyle \mathbf {x} _{i}}\mathbf {x} _ {i} yo guruhdan maxkamlanadi.
Har qanday giperplane {\displaystyle \mathbf {x} }\mathbf {x} qanoatlantiruvchi nuqtalar to'plami sifatida yozilishi mumkin

{\displaystyle \mathbf {v} ^{\mathsf {t}} \ mathbf {x} - b=0,} {\displaystyle \mathbf {v} ^{\mathsf {T}}\mathbf {x} -b=0,}

bu yerda {\displaystyle\mathbf {Vt}} \ mathbf {Vt} giperplane uchun normal vektor (normallashishi shart emas). Bu Gessen normal shakliga o'xshaydi, faqat {\displaystyle \mathbf {v}} \ mathbf {v} birlik vektor bo'lishi shart emas. {\Displaystyle {\tfrac {b}{\|\mathbf {Vt}\|}} {\tfrac {b} {\|\mathbf {Vt}\|}} parametri giperplanning normal vektor bo'ylab kelib chiqishidan kelib chiqishini aniqlaydi {\displaystyle \mathbf {v} }\mathbf {v} .
Qattiq margin
Agar o'quv ma'lumotlari chiziqli ravishda ajratiladigan bo'lsa, biz ma'lumotlarning ikki sinfini ajratib turadigan ikkita parallel giperplanani tanlashimiz mumkin, shunda ular orasidagi masofa iloji boricha katta bo'ladi. Ushbu ikkita giperplane bilan chegaralangan mintaqa "margin" deb nomlanadi va maksimal margin giperplane bu giperplane bu ularning o'rtasida yarim yo'lda joylashgan. Normallashtirilgan yoki standartlashtirilgan ma'lumotlar to'plami bilan ushbu giperplanlarni tenglamalar bilan tavsiflash mumkin.

{\displaystyle \ mathbf {v} ^{\mathsf {T}} \ mathbf {x} - b=1} {\displaystyle \mathbf {v} ^ {\mathsf {T}} \ mathbf {x} - b=1} (ushbu chegaradagi yoki undan yuqori bo'lgan narsa bir sinf, yorlig'i bilan 1)

va
{\displaystyle \ mathbf {v} ^{\mathsf {T}} \ mathbf {x} - b=-1}{\displaystyle \mathbf {v} ^ {\mathsf {T}} \ mathbf {x} - b = -1} (bu chegaradagi yoki undan pastdagi narsa boshqa sinf, yorlig'i bilan -1).
Geometrik, bu ikki giperplanes orasidagi masofa {\displaystyle {\tfrac {2}{\|\mathbf {v} \|}}}{\tfrac {2}{\|\mathbf {v} \|}},[17] shunday qilib, orasidagi masofani maksimallashtirish uchun tekisliklar biz {\displaystyle \|\mathbf {Vt} \|}\|\mathbf {Vt} \|minimallashtirmoqchimiz. Masofa nuqtadan tekislik tenglamasigacha bo'lgan masofa yordamida hisoblanadi. Biz, shuningdek, ma'lumotlar nuqtalari chegarasiga tushib oldini olish kerak, biz quyidagi cheklov kiritish: har bir uchun {\displaystyle i}i yo
{\displaystyle \mathbf {v} ^{\mathsf {T}}\mathbf {x} _{i}-b\geq 1\,,{\text{ if }}y_{i} = 1,} {\displaystyle \mathbf {v} ^{\mathsf {T}}\mathbf {x} _{i}-b\geq 1\,,{\text{ if}} y_{i}=1,}
yoki
{\displaystyle \mathbf {v} ^{\mathsf {t}}\mathbf {x} _{i} - b\leq -1\,,{\text{ if }}y_{i}=-1.} {\displaystyle \mathbf {v} ^{\mathsf {t}}\mathbf {x} _{i} - b\leq -1\,,{\text{ if }}y_{i}=-1.}
Ushbu cheklovlar shuni ko'rsatadiki, har bir ma'lumot nuqtasi marjaning to'g'ri tomonida yotishi kerak.
Bu kabi qayta yozilishi mumkin
{\displaystyle y_ {i}(\mathbf {v} ^{\mathsf {T}}\mathbf{x} _{i}-b)\geq 1,\quad {\text {barcha uchun }}1\leq i\leq n.} {\displaystyle y_{i} (\mathbf {v} ^{\mathsf {t}}\mathbf {x} _{i}-b)\geq 1,\quad {\text{ barcha uchun }}1 \ leq i\leq n.}