Mavzu: Tasniflash jarayonida ehtimollik qiymatlarini hisoblash va qarorlar chegaralarini aniqlash softmax regressiya Bajardi: Boboqulov. N tekshirdi: Abdullajonova. N mundarija

Silliq arg max
Shuningdek qarang: Arg max
"Softmax" nomi chalg'ituvchi; funktsiya a emas maksimal maksimal (a silliq yaqinlashish uchun maksimal funktsiyasi), lekin juda to'g'ri yaqinlashishdir arg max funktsiya: qiymati bo'lgan funktsiya qaysi indeks maksimal darajaga ega. Aslida, "softmax" atamasi bir-biri bilan chambarchas bog'liq bo'lganlar uchun ham ishlatiladi LogSumExp funktsiyasi, bu maksimal maksimal. Shu sababli, ba'zilar aniqroq "softargmax" atamasini afzal ko'rishadi, ammo "softmax" atamasi mashinada o'rganishda odatiy holdir.[3][4] Ushbu bo'lim uchun ushbu sharhni ta'kidlash uchun "softargmax" atamasi ishlatiladi.
Rasmiy ravishda, arg max-ni kategorik chiqishi bilan funktsiya sifatida ko'rib chiqish o'rniga (indeksga mos keladigan) bilan arg max funktsiyasini ko'rib chiqing bitta issiq chiqishning namoyishi (noyob max arg mavjudligini nazarda tutgan holda):
bu erda chiqish koordinatasi agar va faqat agar ning arg max , ma'no ning noyob maksimal qiymati . Masalan, ushbu kodlashda chunki uchinchi argument maksimal hisoblanadi.
Buni bir nechta arg max qiymatlariga umumlashtirish mumkin (ko'plik teng) maksimal bo'lish) 1ni barcha maksimal arglar o'rtasida bo'lish orqali; rasmiy ravishda 1/k qayerda k maksimalni qabul qiladigan argumentlar soni. Masalan, chunki ikkinchi va uchinchi argumentlar ham maksimal. Agar barcha argumentlar teng bo'lsa, bu shunchaki Ballar z bir nechta arg max qiymatlari mavjud yagona fikrlar (yoki birliklar va birlik to'plamini hosil qiladi) - bu arg max ning uzluksiz bo'lgan nuqtalari (bilan sakrashni to'xtatish ) - bitta arg max bo'lgan nuqtalar singular bo'lmagan yoki odatiy nuqtalar sifatida tanilgan.
Kirish qismida keltirilgan so'nggi ifoda bilan softargmax endi arg max: as-ning yumshoq yaqinlashuvi , softargmax arg max ga yaqinlashadi. Funksiyaning yaqinlashuvi haqida turli xil tushunchalar mavjud; softargmax arg max ga yaqinlashadi yo'naltirilgan, har bir belgilangan kirish uchun ma'no z kabi , Biroq, softargmax buni qilmaydi bir xilda birlashadi to arg max, ya'ni intuitiv ravishda turli nuqtalar har xil tezlikda birlashishini va o'zboshimchalik bilan sekin birlashishini anglatadi. Aslida, softargmax uzluksiz, ammo arg koordinatalari teng bo'lgan singular to'plamda uzluksiz, doimiy funktsiyalarning yagona chegarasi esa doimiydir. Bir hil yig'ilmaslikning sababi shundaki, ikkita koordinata deyarli teng bo'lgan (va bittasi maksimal) bo'lgan kirishlar uchun arg max bu yoki boshqasining indeksidir, shuning uchun kirishning kichik o'zgarishi natijada katta o'zgarishlarni keltirib chiqaradi. Masalan, lekin va barcha kirish uchun: nuqtalar birlik to'plamiga qanchalik yaqin bo'lsa , ular sekinroq birlashadi. Biroq, softargmax qiladi ixcham birlashadi yagona bo'lmagan to'plamda.
Aksincha, kabi , softargmax xuddi shu tarzda arg min ga yaqinlashadi, bu erda birlik son ikki arg bo'lgan nuqtalar min qiymatlar. Tilida tropik tahlil, softmax a deformatsiya yoki ishlatish uchun mos keladigan arg max va arg minning "kvantizatsiyasi" log semiring o'rniga max-plus semiring (mos ravishda min-plus semiring ) va limitdan foydalanib arg max yoki arg minni tiklash "tropikizatsiya" yoki "dequantizatsiya" deb nomlanadi.
Bundan tashqari, har qanday qat'iy uchun β, agar bitta kirish bo'lsa boshqalarga qaraganda ancha katta nisbiy haroratgacha, , chiqish taxminan arg max. Masalan, 10 ning farqi 1 haroratiga nisbatan katta:
Ammo, agar harorat haroratga nisbatan farq kichik bo'lsa, qiymat arg max ga yaqin emas. Masalan, 10 ning farqi 100 haroratga nisbatan kichik:
Sifatida , harorat nolga teng, , shuning uchun oxir-oqibat barcha farqlar katta bo'ladi (pasayib boruvchi haroratga nisbatan), bu esa chegara harakati uchun yana bir izoh beradi.