Mavzu: Tasniflash jarayonida ehtimollik qiymatlarini hisoblash va qarorlar chegaralarini aniqlash softmax regressiya Bajardi: Boboqulov. N tekshirdi: Abdullajonova. N mundarija

Ehtimollar nazariyasi
Yilda ehtimollik nazariyasi, softargmax funktsiyasining chiqishi a ni ifodalash uchun ishlatilishi mumkin kategorik taqsimot - ya'ni, a ehtimollik taqsimoti ustida K mumkin bo'lgan turli xil natijalar.
Statistik mexanika
Yilda statistik mexanika, softargmax funktsiyasi sifatida tanilgan Boltzmann taqsimoti (yoki Gibbsning tarqalishi ):[5]:7 indekslar to'plami ular mikrostatlar tizimning; kirishlar bu holatning energiyalari; maxraji sifatida tanilgan bo'lim funktsiyasi, ko'pincha tomonidan belgilanadi Z; va omil β deyiladi sovuqlik (yoki termodinamik beta, yoki teskari harorat ).
Ilovalar
Softmax funktsiyasi turli xil ishlatiladi ko'p sinfli tasnif kabi usullar multinomial logistik regressiya (shuningdek, softmax regressiyasi deb ham ataladi)[2]:206–209 [1], ko'pklassik chiziqli diskriminant tahlil, sodda Bayes tasniflagichlari va sun'iy neyron tarmoqlari.[6] Xususan, multinomial logistik regressiya va chiziqli diskriminantli tahlilda funktsiyaga kirish natijasidir K aniq chiziqli funktsiyalar va uchun taxmin qilingan ehtimollik jNamunaviy vektor berilgan sinf x va tortish vektori w bu:
Buni quyidagicha ko'rish mumkin tarkibi ning K chiziqli funktsiyalar va softmax funktsiyasi (qaerda ning ichki mahsulotini bildiradi va ). Amaliyot tomonidan belgilangan chiziqli operatorni qo'llashga teng vektorlarga Shunday qilib, asl, ehtimol yuqori o'lchovli kirishni a vektorlariga o'zgartirish K- o'lchovli bo'shliq .
Neyron tarmoqlari
Softmax funktsiyasi ko'pincha neyron tarmoqqa asoslangan klassifikatorning oxirgi qatlamida ishlatiladi. Bunday tarmoqlar odatda a ostida o'qitiladi jurnalni yo'qotish (yoki o'zaro faoliyat entropiya ) rejim, multinomial logistik regressiyaning chiziqli bo'lmagan variantini beradi.
Funktsiya vektorni va ma'lum bir indeksni xaritalaganligi sababli haqiqiy qiymatga qarab, lotin indeksni hisobga olish kerak:
Ushbu ifoda indekslarda nosimmetrikdir va shu tariqa quyidagicha ifodalanishi mumkin
Mana Kronekker deltasi soddaligi uchun ishlatiladi (qarang: a ning hosilasi sigmasimon funktsiya, funktsiyaning o'zi orqali ifoda etilgan).
Agar funktsiya parametr bilan miqyoslangan bo'lsa , keyin bu iboralar ko'paytirilishi kerak .
Qarang Multinomial logit softmax faollashtirish funktsiyasidan foydalanadigan ehtimollik modeli uchun.
Kuchaytirishni o'rganish
Sohasida mustahkamlashni o'rganish, softmax funktsiyasidan qiymatlarni harakat ehtimollariga aylantirish uchun foydalanish mumkin. Odatda ishlatiladigan funktsiya:
bu erda harakat qiymati quyidagi harakatlar kutilayotgan mukofotga mos keladi a va harorat parametri deyiladi (ga allyuziyasida statistik mexanika ). Yuqori harorat uchun ( ), barcha harakatlar deyarli bir xil ehtimollikka ega va harorat qancha past bo'lsa, kutilayotgan mukofotlar ehtimollikka ta'sir qiladi. Past harorat uchun ( ), kutilgan eng yuqori mukofotga ega bo'lgan harakat ehtimoli 1 ga intiladi.