Konvolyutsion neyron tarmog'ining tuzilishi

Tasvirlarni tasniflash uchun konvolyutsion neyron tarmoq arxitekturasi

AlexNet - konvolyutsion neyron tarmoq bo'lib, ImageNet LSVRC-2012 tanlovida 15,3% xatolik bilan g'olib chiqdi. Tarmoq J. Lekunning LeNet tarmog'iga qisman o'xshash arxitekturaga ega edi, lekin chuqurroq, ko'p sonli konvolyutsion qatlamlar bilan. Tarmoq 11x11, 5x5, 3x3 konvolyutsiyalardan, maksimal birlashtirish, tashlab ketish, ma'lumotlarni ko'paytirish, ReLU faollashtirish funktsiyasi, momentum bilan SGD (Stokastik Gradient Descent) dan iborat edi. Faollashtirish funktsiyasini qo'llash har bir konvolyutsion va to'liq bog'langan qatlamlardan keyin sodir bo'ldi.
2-rasm - AlexNet arxitekturasi

Shaklda ko'rsatilgan. 2. AlexNet arxitekturasi, vazn koeffitsientlari bo'lgan 8 ta qatlamni o'z ichiga oladi, bu erda dastlabki 5 qatlam konvolyutsion, keyingi 3 tasi to'liq bog'langan. Oxirgi to'liq ulangan qatlamning chiqishi sinf belgilari bo'yicha taqsimlashni amalga oshiradigan softmax faollashtirish funksiyasiga beriladi. Keyinchalik, tarmoq multinomial logistik regressiya maqsadini maksimal darajada oshiradi, bu bashorat taqsimotida to'g'ri yorliqning log-ehtimolligining o'quv o'rtacha ko'rsatkichini maksimal darajada oshirish bilan bir xil.

O'rganish tezligi 0,01, impuls 0,9 va vaznning 0,0005 qisqarishi bilan stokastik gradient tushishidan foydalanish. O'rganish tezligi 10 marta aniqlik platosiga bo'linadi, shuningdek, o'quv jarayonida 3 baravar kamayadi.
Og'irliklarni yangilash uchun formulalar
Og'irliklarning yangilanishi (w), bu erda i - iteratsiya indeksi, v - impuls o'zgaruvchisi va epsilon - o'rganish tezligi diagrammada ko'rsatilgan. O'rganish tezligi barcha qatlamlar uchun teng tanlangan va butun mashg'ulot davomida qo'lda tuzatilgan. Keyingi qadam, tekshirish xatolarining soni kamayishni to'xtatganda, o'rganish tezligini 10 ga bo'lish edi. AlexNet top-5 xatolar natijasini ko'rsatadi - mos ravishda 15,3%.
ZFNet ILSVRC 2013 g'olibi bo'ldi, 11,2% lik eng yaxshi beshlik xatosi. Bunda asosiy rolni giperparametrlarni sozlash, ya'ni filtrlarning o'lchami va soni, paket hajmi, o'rganish tezligi va boshqalar o'ynaydi.M.Zieler va R.Fergus yadrolarni, og'irliklarni va tasvirlarning yashirin tasvirini vizualizatsiya qilish tizimini taklif qildilar. Tizim DeconvNet nomini oldi.
ZFNet tarmog'ining arxitekturasi AlexNet tarmog'ining arxitekturasi bilan deyarli bir xil.
Ularning arxitekturadagi sezilarli farqlari quyidagilardan iborat:

• 
  ZFNet filtri o'lchami va AlexNet'dagi birinchi konvolyutsion qatlamdagi qadam 11 × 11, qadam 4; ZFNet-da - 7 × 7, qadam 2;
  
• 
  tarmoqning sof konvolyutsion qatlamlaridagi filtrlar soni (3, 4, 5).
  

3-rasm - ZFNet arxitekturasi