Mavzu: Tasniflash jarayonida ehtimollik qiymatlarini hisoblash va qarorlar chegaralarini aniqlash softmax regressiya Bajardi: Boboqulov. N tekshirdi: Abdullajonova. N mundarija

Xususiyatlari
Geometrik ravishda softmax funktsiyasi vektor maydoni uchun chegara ning standart -sodda, o'lchovni bittaga qisqartirish (diapazon a - o'lchovli oddiy - o'lchovli bo'shliq), tufayli chiziqli cheklash barcha chiqindilarning qiymati 1 ga teng ekanligini anglatadi, chunki u a ga asoslangan giperplane.
Asosiy diagonali bo'ylab softmax - bu faqat chiqindilar bo'yicha yagona taqsimot, : teng ballar teng ehtimollarni keltirib chiqaradi.
Umuman olganda, softmax har bir koordinatada bir xil qiymat bilan tarjima ostida o'zgarmasdir: qo'shish kirishga hosil , chunki u har bir ko'rsatkichni bir xil omilga ko'paytiradi, (chunki ), shuning uchun nisbatlar o'zgarmaydi:
Geometrik ravishda softmax diagonallar bo'ylab doimiydir: bu o'lchov o'chirilgan va kirish ballaridagi tarjimadan mustaqil bo'lgan softmax chiqishi mos keladi (0 ball tanlovi). Umumiy nolga teng deb taxmin qilish orqali kirish ballarini normallashtirish mumkin (o'rtacha qiymatni olib tashlang: qayerda ), keyin softmax nolga teng bo'lgan giperplanani oladi, , 1 ga teng bo'lgan musbat qiymatlarning ochiq simpleksiga , shunga o'xshash, qanday qilib eksponent 0 dan 1 gacha, va ijobiy.
Aksincha, massmax miqyosi ostida o'zgarmas emas. Masalan; misol uchun, lekin
The standart logistik funktsiya bu ikki o'lchovli kosmosdagi 1 o'lchovli o'q uchun maxsus holat, deydi x-axsis (x, y) samolyot. Bitta o'zgaruvchi 0 ga teng (masalan,) ), shuning uchun , va boshqa o'zgaruvchi o'zgarishi mumkin, uni belgilang , shuning uchun standart logistika funktsiyasi va uning to'ldiruvchisi (ular 1 ga qo'shilishini anglatadi). 1 o'lchovli kiritish muqobil ravishda chiziq sifatida ifodalanishi mumkin , natijalar bilan va
Softmax funktsiyasi ham ning gradiyenti hisoblanadi LogSumExp funktsiyasi, a maksimal maksimal; ta'rif qisman hosilalari:
Qisman hosilalarni vektor sifatida. Bilan ifodalash gradient softmax hosil qiladi.
Tarix
Softmax funktsiyasi ishlatilgan statistik mexanika sifatida Boltzmann taqsimoti asos qog'ozida Boltsman (1868),[8] nufuzli darslikda rasmiylashtirildi va ommalashtirildi Gibbs (1902).[9]
Softmax-dan foydalanish qarorlar nazariyasi hisobga olinadi Lyus (1959),[10]:1 aksiomasidan foydalangan ahamiyatsiz alternativalarning mustaqilligi yilda ratsional tanlov nazariyasi softmax-ni chiqarish Lyusning tanlagan aksiomasi nisbiy imtiyozlar uchun.
Mashinada o'qitish jarayonida "softmax" atamasi 1989 yilgi ikkita konferentsiya ishlarida Jon S. Bridlga berilgan, Bridle (1990a):[10]:1 va Bridle (1990b):[3]
Biz bir nechta chiqishga ega besleme yo'nalishidagi chiziqli bo'lmagan tarmoqlar (ko'p qatlamli perkeptronlar yoki MLP) bilan bog'liqmiz. Biz tarmoqning chiqishiga alternativa ehtimoli sifatida qarashni xohlaymiz (masalan. naqsh darslari), kirish shartlari bilan. Biz tarmoqqa mos bo'lmagan chiqish va tarmoq parametrlarini moslashtirish mezonlarini qidiramiz (masalan. og'irliklar). Biz ikkita modifikatsiyani tushuntiramiz: kvadratik xatolarni minimallashtirishga alternativ bo'lgan ehtimollik skoringi va normallashgan eksponent (softmax) logistik chiziqsizlikning ko'p kiritiladigan umumlashtirilishi.[11]:227
Har qanday kirish uchun natijalar ijobiy bo'lishi kerak va ular birlikka qo'shilishi kerak. ...
Cheklanmagan qadriyatlar to'plami berilgan , biz har ikkala shartni ham Normallashtirilgan eksponent transformatsiyadan foydalanib ta'minlashimiz mumkin:
Ushbu transformatsiyani butun chiqish sathida ishlaydigan logistikaning ko'p kirimli umumlashtirilishi deb hisoblash mumkin. U kirish qiymatlarining tartib tartibini saqlab qoladi va maksimal qiymatni yig'ish bo'yicha "hamma g'olib chiqadi" operatsiyasining farqlanadigan umumlashtirilishi hisoblanadi. Shu sababli biz unga murojaat qilishni yaxshi ko'ramiz softmax.[12]:213
Misol
Agar [1, 2, 3, 4, 1, 2, 3] ning kirishini olsak, uning softmaxsi [0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175]. Chiqish og'irlikning katta qismiga ega, bu erda "4" dastlabki kirishda edi. Odatda bu funktsiya uchun ishlatiladi: eng katta qiymatlarni ajratib ko'rsatish va maksimal qiymatdan ancha past bo'lgan qiymatlarni bostirish. Ammo e'tibor bering: softmax shkalasi o'zgarmasdir, shuning uchun kirish [0,1, 0,2, 0,3, 0,4, 0,1, 0,2, 0,3] bo'lsa (bu 1,6 ga teng), softmax [0,125, 0,138, 0,153, 0,169, 0,125, 0.138, 0.153]. Bu shuni ko'rsatadiki, 0 va 1 softmax orasidagi qiymatlar uchun, aslida, maksimal qiymat o'chiriladi (0,169 nafaqat 0,475 dan kam, balki u 0,4 / 1,6 = 0,25 boshlang'ich ulushidan ham kam).
Ushbu misol yordamida hisoblash Python kod:
>>> Import achchiq kabi np>>> a = [1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0]>>> np.tugatish(a) / np.sum(np.tugatish(a)) qator([0.02364054, 0.06426166, 0.1746813, 0.474833, 0.02364054, 0.06426166, 0.1746813])
Mana bir misol Yuliya kod:
julia> A = [1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0]; # interfaol chiqishni bostirish uchun verguljulia> tugatish.(A) ./ sum(tugatish.(A))7 elementli massiv {Float64,1}: 0.0236405 0.0642617 0.174681 0.474833 0.0236405 0.0642617 0.174681
Mana bir misol R kod:
> z <- v(1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0)> softmax <- tugatish(z)/sum(tugatish(z))> softmax[1] 0.02364054 0.06426166 0.17468130 0.47483300 0.02364054 0.06426166 0.17468130