Konvolyutsion neyron tarmog'ining tuzilishi

VGGNet

2014 yilda Oksford universitetidan K. Simonyan va E. Zisserman VGG (Visual Geometry Group) deb nomlangan neyron tarmoq arxitekturasini taklif qilishdi.
VGG16 - bu AlexNet-ning takomillashtirilgan versiyasi bo'lib, u katta filtrlarga ega (hajmi


inp
ut

Konv 1-
1

Con
v 1-
2
1 va 2-konvolyutsiya qatlamlarida 11 va 5) birin-ketin bir nechta 3x3 filtrlar bilan almashtiriladi.

4-rasm. VGGNet tarmoq arxitekturasi

Trening davomida ConvNets (Convolutional networks - convolutional neyron networks) ga kirish 224 × 224 piksel o'lchamdagi RGB tasviridir. Keyingi bosqichda tasvir 3×3 konvolyutsion qatlamlardan iborat stek orqali o'tkaziladi. VGGNet tarmoq konfiguratsiyasidan biri 1x1 filtrlardan foydalanadi, ularni kirish kanallarining chiziqli o'zgarishi deb hisoblash mumkin.
Konvolyutsiya bosqichi 1 pikselga o'rnatiladi. Konvolyutsion qatlamning kiritilishini to'ldirish shunday tanlanadiki, konvolyutsiyadan keyin fazoviy o'lchamlari saqlanib qoladi, ya'ni 3x3 konvolyutsion qatlamlar uchun to'ldirish 1 ga teng.
Fazoviy birlashtirish konvolyutsion qatlamlardan birini kuzatib boradigan beshta maksimal yig'ish qatlami yordamida amalga oshiriladi (barcha konvolyutsion qatlamlar keyingi maksimal yig'ilishga ega emas). Maksimal birlashtirish operatsiyasi 2 qadamli 2x2 pikselli oynada amalga oshiriladi [13].
Konvolyutsion qatlamlar to'plamidan keyin 3 ta to'liq bog'langan qatlam mavjud: birinchi ikkita qatlamda har birida 4096 ta kanal mavjud, uchinchi qatlamda 1000 ta kanal mavjud (chunki ILSVRC tanlovida ob'ektlarni 1000 toifaga taqsimlash kerak). Oxirgi qatlam - softmax. Barcha yashirin qatlamlar ReLU faollashtirish funksiyasi bilan jihozlangan.
Mualliflar qurilish bloklari ImageNet tanlovida ma'lum natijalarga erishish mumkinligini ko'rsatdi. Top-5 xatolar soni 7,3% gacha kamaydi [6].

5-rasm. - GoogleNet arxitekturasi

Inveption-v1 nomi bilan tanilgan Google (GoogLeNet) konvolyutsion tarmog'i 6,7% lik eng yaxshi 5 xatolik bilan ILSVRC 2014 g'olibi bo'ldi [Szegedy va boshq., 2015].
Tarmoqdagi barcha konvolyutsiyalar, shu jumladan Inception modullari ichidagilar, to'g'ri chiziqli chiziqli faollashtirishdan foydalanadi. Tarmoq faqat parametrlari bo'lgan qatlamlar hisoblanganda 22 ta qatlamga ega. Tarmoqni qurish uchun foydalanilgan qatlamlarning umumiy soni 100 ta. Toʻliq ulangan qatlamlardan oʻrta hovuzga oʻtish birinchi darajali aniqlikni taxminan 0,6% ga oshirdi, biroq toʻliq bogʻlangan qatlamlar olib tashlanganidan keyin ham tushirishdan foydalanish zaruriyati saqlanib qoldi.
Tarmoqning chuqurligini hisobga olgan holda, barcha qatlamlar bo'ylab gradientlarni qayta tarqatish qobiliyati samarali vazifa edi. Ushbu vazifada kichikroq tarmoqlarning yuqori ishlashi tarmoqning o'rtasida joylashgan qatlamlar tomonidan ishlab chiqarilgan xususiyatlar juda kamsituvchi bo'lishi kerakligini ko'rsatadi. Ushbu oraliq darajalar bilan bog'liq yordamchi klassifikatorlarni qo'shganda, klassifikatorda pastki darajalarda kamsitish kutilgan edi. Bu tartibga solishni ta'minlash orqali yo'qolgan gradient muammosini engishga yordam berdi. Tarmoqdagi klassifikatorlar Inception modullari chiqishining tepasida joylashgan kichik konvolyutsion tarmoqlar shaklini oladi. Trening davomida ularning yo'qolishi umumiy tarmoq yo'qotilishiga og'irlik bilan qo'shiladi. Xulosa qilish jarayonida bu yordamchi tarmoqlar o'chiriladi. So'nggi nazorat tajribalari ko'rsatdi
Qo'shimcha tarmoqning, shu jumladan yordamchi klassifikatorning aniq tuzilishi quyidagicha:

• 
  filtr o'lchami 5 × 5 va qadam 3 bo'lgan o'rta birlashtiruvchi qatlam, buning natijasida (4a) uchun 4 × 4 × 512 va (4d) kaskad uchun 4 × 4 × 528;
  
• 
  Hajmi kichraytirish va to'g'ridan-to'g'ri chiziqli faollashtirish uchun 128 filtrli 1 × 1 burilish;
  
• 
  1024 birlik va to'g'ridan-to'g'ri chiziqli faollashtirish bilan to'liq bog'langan qatlam;
  
• 
  tashlab yuborilgan chiqishlarning 70% nisbati bilan tashlab qo'yilgan qatlam;
  

klassifikator sifatida softmax yo'qolgan chiziqli qatlam (asosiy tasniflagich bilan bir xil 1000 ta sinfni bashorat qiladi, ammo xulosa chiqarish paytida olib tashlanadi).
GoogLeNet arxitekturasi Inception modulidan foydalanadi, tarmoq ushbu turdagi modullar asosida qurilgan [1].

Burilishlar 1×1

6-rasm - Boshlanish moduli