Rasmiy tavsif

Yo'qotish funktsiyalari

Yo'qotish funktsiyasini tanlash funktsiyani belgilovchi omil hisoblanadi  bu o'quv algoritmi tomonidan tanlanadi. Yo'qotish funktsionalligi algoritm uchun konvergentsiya tezligiga ta'sir qiladi. Yo'qotish funktsiyasi konveks bo'lishi uchun muhimdir.^[4]
Muammo regressiya bo'ladimi yoki tasniflardan biriga bog'liq bo'lib, har xil yo'qotish funktsiyalari qo'llaniladi.

Regressiya

Regressiya uchun eng keng tarqalgan yo'qotish funktsiyasi kvadrat yo'qotish funktsiyasi (shuningdek L2-norma ). Ushbu tanish yo'qotish funktsiyasi ishlatiladi Oddiy eng kichkina kvadratchalar regressiyasi. Shakl:

Mutlaq qiymat yo'qotilishi ( L1-norma ) ba'zan ham ishlatiladi:

Tasnifi

Asosiy maqola: Statistik tasnif
Qaysidir ma'noda 0-1 ko'rsatkich funktsiyasi tasniflash uchun eng tabiiy yo'qotish funktsiyasi. Agar taxmin qilingan mahsulot haqiqiy chiqim bilan bir xil bo'lsa, u 0 qiymatini oladi va agar bashorat qilingan mahsulot haqiqiy chiqimdan farq qiladigan bo'lsa, u 1 qiymatini oladi. Bilan ikkilik tasniflash uchun  , bu:

qayerda  bo'ladi Heaviside qadam funktsiyasi.

Muntazamlashtirish

Ushbu rasm mashinada o'qitishda haddan ziyod mos keladigan misolni anglatadi. Qizil nuqta mashqlar to'plamining ma'lumotlarini aks ettiradi. Yashil chiziq haqiqiy funktsional munosabatlarni anglatadi, ko'k chiziq esa ortiqcha fitting qurboniga aylangan o'rganilgan funktsiyani ko'rsatadi.
Mashinada o'qitish muammolarida paydo bo'ladigan asosiy muammo ortiqcha kiyim. O'rganish bashorat qilish muammosi bo'lganligi sababli, maqsad (ilgari kuzatilgan) ma'lumotlarga eng mos keladigan funktsiyani topish emas, balki kelajakdagi ma'lumotlardan chiqishni eng aniq taxmin qiladigan funktsiyani topishdir. Xavfni empirik minimallashtirish haddan tashqari moslashish xavfi tug'diradi: ma'lumotlarga to'liq mos keladigan, ammo kelajakdagi chiqishni yaxshi bashorat qilmaydigan funktsiyani topish.
Haddan tashqari moslashish beqaror echimlarning alomatidir; o'quv to'plamidagi ma'lumotlarning ozgina bezovtalanishi o'rganilgan funktsiyalarning katta o'zgarishini keltirib chiqaradi. Ko'rsatish mumkinki, agar yechim uchun barqarorlikni kafolatlash mumkin bo'lsa, umumlashtirish va izchillik ham kafolatlanadi.^[5][6] Muntazamlashtirish haddan tashqari mos keladigan muammoni hal qilishi va muammoning barqarorligini berishi mumkin.
Regularizatsiya gipoteza maydonini cheklash orqali amalga oshirilishi mumkin  . Umumiy misol cheklash bo'lishi mumkin  chiziqli funktsiyalarga: buni standart muammoning kamayishi sifatida ko'rish mumkin chiziqli regressiya.  daraja polinomiga cheklanishi mumkin  , eksponentlar yoki cheklangan funktsiyalar L1. Gipoteza makonini cheklash ortiqcha imkoniyatlardan qochadi, chunki potentsial funktsiyalar shakli cheklangan va shuning uchun o'zboshimchalik bilan nolga yaqin bo'lgan empirik riskni beradigan funktsiyani tanlashga imkon bermaydi.
Muntazamlashtirishning bir misoli Tixonovni tartibga solish. Bu minimallashtirishdan iborat

qayerda  sobit va ijobiy parametr, regulyatsiya parametri. Tixonovni tartibga solish eritmaning mavjudligini, o'ziga xosligini va barqarorligini ta'minlaydi.


https://uz.wikieto.ru/wiki/Statistical_learning_theory