Oʻzbekiston respublikasi oliy ta’lim, fan va innovatsiyalar vazirligi mirzo ulugʻbek nomidagi oʻzbekiston milliy universitetining jizzax filiali

ReLu funksiyalarining afzalliklari

• 
  ReLu funksiyasining afzalliklari quyidagilardan iborat:
  
• 
  Katta va murakkab ma'lumotlar to'plamlarida chuqur neyron arxitekturasini tezroq va samaraliroq o'qitishga imkon beradi.
  
• 
  Neyron tarmoqdagi birliklarning atigi 50% ning siyrak faollashuvi (salbiy birliklar yo'q qilinganligi sababli)
  
• 
  Tanhning anti-simmetriyasi bilan solishtirganda ko'proq ishonchli yoki bir tomonlama
  
• 
  Gradientning samarali tarqalishi, bu hech qanday yo'qolgan yoki portlovchi gradient muammolarini bildirmaydi
  
• 
  Yagona taqqoslash, qo'shish yoki ko'paytirish bilan samarali hisoblash
  
• 
  Yaxshi o'lchaydi
  
• 
  ReLu funksiyalarining cheklovlari
  
• 
  Nol darajasida farqlanmaydigan - nolga yaqin qiymatlar nomuvofiq yoki chidab bo'lmaydigan natijalar berishi mumkinligini bildiradi.
  
• 
  Nolga teng bo'lmagan markazlashtirilgan - nolga teng bo'lmagan markazlashtirilgan ma'lumotlar atrofida assimetriya hosil qiladi (faqat ijobiy qiymatlar qayta ishlanadi), bu ma'lumotlarning notekis ishlov berishga olib keladi.
  
• 
  Cheklanmagan - Chiqish qiymatining chegarasi yo'q va katta qiymatlar o'tishi bilan hisoblash muammolariga olib kelishi mumkin.
  
• 
  O'lish ReLU muammosi - O'rganish tezligi juda yuqori bo'lsa, Relu neyronlari faolsizlanib, "o'lishi" mumkin.
  

Softmax funktsiyasi
Yana bir mashhur faollashtirish funksiyasi Softmax funksiyasidir. Softmax ma'lum sinflar to'plamiga tegishli natija ehtimolini chiqaradi. Bu neyron tarmoq oxiridagi toifalash mantig'iga o'xshaydi. Misol uchun, u harakatlanuvchi ob'ektning tasvirida hayvon, mashina yoki samolyot borligini aniqlashga urinayotgan neyron tarmoq oxirida ishlatilishi mumkin.
Matematikada Softmax yoki normallashtirilgan eksponensial funktsiya ixtiyoriy real qiymatlarning K o'lchovli vektorini 1 ga qadar bo'lgan (0, 1) diapazondagi haqiqiy qiymatlarning K o'lchovli vektoriga siqib chiqaradigan logistik funktsiyaning umumlashtirilishidir.
Ehtimollar nazariyasida Softmax funktsiyasining chiqishi K turli natijalar bo'yicha ehtimollik taqsimotini ifodalaydi.
Softmax-da i-sinfga tegishli aniq kirish z bo'lgan ma'lum bir namunaning ehtimolini maxrajdagi normalizatsiya atamasi, ya'ni barcha M chiziqli funktsiyalarning yig'indisi bilan hisoblash mumkin:

Softmax funksiyasi ANN va Naïve Bayes tasniflagichlarida qo'llaniladi.
Misol uchun, [1,2,3,4,1,2,3] kiritishni oladigan bo'lsak, uning Softmax ko'rsatkichi [0,024, 0,064, 0,175, 0,475, 0,024, 0,064, 0,175] bo'ladi. Agar dastlabki kirish "4" bo'lsa, chiqish o'z og'irligining katta qismiga ega bo'ladi. Bu funksiya odatda quyidagilar uchun ishlatiladi:
Eng katta qiymatlarni ta'kidlash
Maksimal qiymatdan sezilarli darajada past bo'lgan qiymatlarni bostirish.
Softmax funktsiyasi bu erda ko'rsatilgan.