Nerv kletkalarınıń strukturası: dentrit, som, akson, sinaps

Aktivlestiriw funksiyaları haqqında ulıwma maǵlıwmat --- Biz qandaydir tarzda summatordan olingan yig’indini yakuniy yechimga keltirishimiz kerak. Mazkur vazifa faollashtirish funksiyasi yordamida amalga oshiriladi. Foydalanuvchiga vaznlar summasining qiymatini xuddi shunday ko’rsatishdan ma’no yo’q. neyron qandaydir tarzda uni qayta ishlashi va tegishli chiqish signalini uzatishi kerak. Boshqacha aytganda, S vaznlar yig’indisi neyronning chiqishida ba’zi bir sonda aylantirilishi kerak. Har xil turdagi sun’iy neyronlar uchun turli xil faollashtirish funksiyalaridan foydalaniladi. Faollashtirish funksiyasi bu argument sifatida kirish va vaznlar ko’paytmasi yig’indisi S ni qabul qladi va neyrondan chiqish signali sifatida hosil bo’lgan qiymatni qaytaruvchi funksiyadir. Aktivlashtirish funksiyalari birlik sakrash funksiyasi, sigmoida funksiyasi, giperbolik tangens funksiyasi, Relu funksiyasi.

Birlik sekrew aktivlestiriw funksiyası hám onıń grafigi --- ReLU aktivlashtirish funksiyasi, uning grafigi va python tilida realizatsiyasi. ReLU faollashtirish funktsiyasi keng tarqalgan bo'lib qo'llaniladi va standart tanlovdir, chunki u yaxshi natijalar beradi. ReLU funktsiyasi faqat yashirin qatlamlarda ishlatilishi kerak. ReLU eng yaxshi faollashtirish funktsiyasi. Buning sababi 0 nuqtada farqlanmasligi edi. Tadqiqotchilar sigmasimon va tanh kabi differensiallanuvchi funksiyalardan foydalanishga moyil edilar. Biroq, endi ReLU chuqur o'rganish uchun eng yaxshi faollashtirish funktsiyasi ekanligi aniqlandi. ReLU faollashtirish funktsiyasi formulasi. ReLU funktsiyasi uning hosilasi bo'lib, ikkalasi ham monotonikdir. Funktsiya har qanday salbiy ma'lumotni qabul qilsa, 0 ni qaytaradi, lekin har qanday ijobiy x qiymati uchun u qiymatni qaytaradi. Shunday qilib, u 0 dan cheksizgacha bo'lgan diapazonga ega bo'lgan chiqishni beradi. Rektifikatsiya qilingan chiziqli faollashtirish funktsiyasi yoki qisqacha ReLU - bu qismli chiziqli funktsiya bo'lib, agar u ijobiy bo'lsa, kirishni to'g'ridan-to'g'ri chiqaradi, aks holda u nolga teng bo'ladi. def ReLU(x): if x>0: return x else: return 0

5.