O’zbekistonrespublikasiaxborottexnologiyalarivakommunikatsiyalarinirivojlantirishvazirligimuhammadal-xorazmiynomidagitoshkentaxborottexnologiyalariuniversitetiqarshifiliali“telekommunikatsiyatexnologiyalarivakasbiyta’lim”fakulteti

4.Neyron tarmoqlarida CNN (Convolutional Neural Networks) usulidan foydalanish
Konvulsion asab tizimi (CNN, yoki ConvNet) sinfidir chuqur asab tarmoqlari, ko'pincha vizual tasvirlarni tahlil qilish uchun qo'llaniladi. Ular, shuningdek, sifatida tanilgan o'zgarishsiz yoki kosmik o'zgarmas sun'iy neyron tarmoqlari (SIANN), ularning umumiy vaznli arxitekturasi va tarjima o'zgaruvchanligi xususiyatlari. Ularda dasturlar mavjud tasvir va videoni aniqlash, tavsiya etuvchi tizimlar, rasm tasnifi, tibbiy tasvirni tahlil qilish, tabiiy tilni qayta ishlash, miya-kompyuter interfeyslari, va moliyaviy vaqt qatorlari.
CNNlar muntazam ravishda versiyalari ko'p qavatli perceptronlar.Ko'p qavatli perceptronlar odatda to'liq bog'langan tarmoqlarni bildiradi, ya'ni bitta qavatdagi har bir neyron keyingi qavatdagi barcha neyronlarga bog'langan.Ushbu tarmoqlarning "to'liq ulanishi" ularni moyil qiladi ortiqcha kiyim ma'lumotlar.Tartibga solishning odatiy usullari orasida yo'qotish funktsiyasiga og'irliklarning ba'zi bir o'lchov shakllarini qo'shish kiradi. CNNlar tartibga solish bo'yicha boshqacha yondashuvni qo'llaydilar: ma'lumotlardagi ierarxik naqshdan foydalanadilar va kichikroq va sodda naqshlardan foydalangan holda yanada murakkab naqshlarni yig'adilar.
Shuning uchun, bog'liqlik va murakkablik miqyosida CNNlar pastki chegarada.Konvolyutsion tarmoqlar edi ilhomlangan tomonidan biologik jarayonlar bunda bog'liqlik namunasi neyronlar hayvonning tashkilotiga o'xshaydi vizual korteks. Shaxsiy kortikal neyronlar ogohlantirishlarga faqat cheklangan mintaqada javob bering ko'rish maydoni nomi bilan tanilgan qabul qiluvchi maydon. Turli xil neyronlarning qabul qilish sohalari qisman bir-birining ustiga chiqadi, shunday qilib ular butun ko'rish maydonini qoplaydi.
CNN-lar, boshqalarga nisbatan oldindan qayta ishlashdan nisbatan kam foydalanadilar tasvirni tasniflash algoritmlari.Bu shuni anglatadiki, tarmoq filtrlar bu an'anaviy algoritmlarda edi qo'lda ishlab chiqarilgan. Xususiyatlarni loyihalashda oldingi bilimlardan va insonning sa'y-harakatlaridan mustaqillik bu katta afzallikdir.

Konvolyutsion

CNN-ni dasturlashda kirish a tensor shakli bilan (rasmlar soni) x (tasvir balandligi) x (rasm kengligi) x (kirish kanallar ).Keyin konvolyatsion qatlamdan o'tgandan so'ng, rasm xususiyatlar xaritasida mavhumlanadi, shakli (rasm soni) x (xususiyat xaritasining balandligi) x (xususiyat xaritasi kengligi) x (xususiyat xaritasi) kanallar ).Nerv tarmog'idagi konvolyutsion qatlam quyidagi xususiyatlarga ega bo'lishi kerak:

• Kenglik va balandlik bilan aniqlangan konvolyutsion yadrolar (giper-parametrlar).

  
  

• Kirish kanallari va chiqish kanallari soni (giper-parametr).

  
  

• Konvolution filtri chuqurligi (kirish kanallari) kirish xususiyati xaritasining raqam kanallariga (chuqurligi) teng bo'lishi kerak.

  
  

Konvolyutsion qatlamlar kiritishni birlashtiradi va natijasini keyingi qatlamga o'tkazadi. Bu vizual korteksdagi neyronning o'ziga xos stimulga javobiga o'xshaydi.Har bir konvulsion neyron ma'lumotlarni faqat uning uchun ishlaydi qabul qiluvchi maydon. Garchi to'liq bog'langan neyron tarmoqlari funktsiyalarni o'rganish, shuningdek ma'lumotlarni tasniflash uchun ishlatilishi mumkin, bu arxitekturani rasmlarga qo'llash amaliy emas. Har bir piksel tegishli o'zgaruvchiga ega bo'lgan juda katta miqdordagi kirish o'lchamlari tufayli, hatto sayoz (chuqur) qarama-qarshi me'morchilikda ham juda ko'p sonli neyronlar kerak bo'ladi. Masalan, 100 x 100 o'lchamdagi (kichik) tasvir uchun to'liq bog'langan qatlam uchun 10000 vazn mavjud har biri ikkinchi qavatdagi neyron. Konvolyutsiya operatsiyasi bu muammoni echimini topadi, chunki u erkin parametrlar sonini kamaytiradi va kamroq parametrlar bilan tarmoqning chuqurroq bo'lishiga imkon beradi. Masalan, rasm o'lchamidan qat'i nazar, har biri bir xil og'irlikdagi 5 x 5 o'lchamdagi plitkalar uchun faqat 25 ta o'rganiladigan parametr talab etiladi. Kamroq parametrlar bo'yicha regulyatsiya qilingan og'irliklardan foydalangan holda, yo'qolib borayotgan gradient va portlovchi gradient muammolari orqaga targ'ib qilish an'anaviy neyron tarmoqlarida oldini olish.

Konvolyutsion tarmoqlar asosiy hisobni soddalashtirish uchun mahalliy yoki global birlashma qatlamlarini o'z ichiga olishi mumkin.Bir qatlamdagi neyron klasterlarining chiqishlarini keyingi qatlamdagi bitta neyronga birlashtirib, ma'lumotlarning o'lchamlarini qisqartirish qatlamlari.Mahalliy hovuz kichik klasterlarni birlashtiradi, odatda 2 x 2.Global to'plash konvolyutsion qatlamning barcha neyronlariga ta'sir qiladi. Bundan tashqari, suzish maksimal yoki o'rtacha hisoblanishi mumkin. Maksimal to'plash oldingi qatlamdagi har bir neyron klasterining maksimal qiymatidan foydalanadi. O'rtacha hovuzlash oldingi qatlamdagi neyronlarning har bir klasteridan o'rtacha qiymatdan foydalanadi.

To'liq ulangan

To'liq bog'langan qatlamlar bir qatlamdagi har bir neyronni boshqa qatlamdagi har bir neyron bilan bog'laydi.Bu printsipial jihatdan an'anaviy bilan bir xil ko'p qavatli pertseptron neyron tarmoq (MLP).Yassilangan matritsa rasmlarni tasniflash uchun to'liq bog'langan qatlamdan o'tadi.

Qabul qilish maydoni

Neyron tarmoqlarida har bir neyron oldingi qatlamdagi ba'zi joylardan ma'lumot oladi.To'liq bog'langan qatlamda har bir neyron kirishni oladi har bir oldingi qatlam elementi.Konvolyutsion qatlamda neyronlar avvalgi qatlamning faqat cheklangan subareyasidan ma'lumot oladi.Odatda subarea kvadrat shaklida (masalan, 5 dan 5 gacha).Neyronning kirish sohasi uning deyiladi qabul qiluvchi maydon.Shunday qilib, to'liq bog'langan qatlamda qabul qiluvchi maydon butun oldingi qatlamdir.Konvolyutsion qatlamda qabul qiluvchi maydon avvalgi qatlamdan kichikroq bo'lib, qabul qilish sohasidagi dastlabki kirish tasvirining subarea tarmoq me'morchiligida chuqurlashib borgan sari o'sib bormoqda.Bu ma'lum bir pikselning qiymatini, shuningdek atrofdagi ba'zi piksellarni hisobga oladigan konvulsiyani qayta-qayta qo'llash bilan bog'liq.

Konvolyutsion neyron tarmoqlar bu ko'p qavatli pertseptronlarning biologik ilhomlangan variantlari bo'lib, ular xatti-harakatlarini taqlid qilish uchun yaratilgan. vizual korteks. Ushbu modellar tabiiy tasvirlarda mavjud bo'lgan kuchli fazoviy mahalliy korrelyatsiyadan foydalanib, MLP arxitekturasi tomonidan yuzaga keladigan muammolarni engillashtiradi. MLP-lardan farqli o'laroq, CNN-lar quyidagi ajralib turadigan xususiyatlarga ega:

• Neyronlarning 3D hajmi. CNN qatlamlari neyronlarga joylashtirilgan 3 o'lchov: kenglik, balandlik va chuqurlik.^{[iqtibos kerak ]} bu erda konvolyutsion qatlam ichidagi har bir neyron retseptiv maydon deb ataladigan faqat undan oldingi qatlamning kichik qismiga ulanadi. Mahalliy va to'liq bog'langan qatlamlarning alohida turlari CNN arxitekturasini shakllantirish uchun to'plangan.

  
  

• Mahalliy aloqa: qabul qiluvchi maydonlar kontseptsiyasidan so'ng, CNNlar qo'shni qatlamlarning neyronlari orasidagi mahalliy ulanish sxemasini qo'llash orqali fazoviy joylashuvdan foydalanadilar. Shunday qilib arxitektura bilimdonlarning "filtrlar "fazoviy mahalliy kirish uslubiga eng kuchli javobni ishlab chiqaring. Bunday qatlamlarning ko'pini bir-birining ustiga yig'ish olib keladi chiziqli bo'lmagan filtrlar ular tobora ko'proq global (ya'ni piksel maydonining kattaroq mintaqasiga javob beradigan) bo'lib, tarmoq avval kirishning kichik qismlarini tasavvurlarini yaratadi, so'ngra ulardan katta maydonlarning tasvirlarini yig'adi.

  
  

• Umumiy og'irliklar: CNN-larda har bir filtr butun ko'rish maydoni bo'ylab takrorlanadi. Ushbu takrorlangan birliklar bir xil parametrlarni (og'irlik vektori va noaniqlik) baham ko'radi va xususiyatlar xaritasini hosil qiladi. Bu shuni anglatadiki, ma'lum konvolyutsion qatlamdagi barcha neyronlar o'zlarining o'ziga xos javob maydonida bir xil xususiyatga javob berishadi. Birliklarni shu tarzda takrorlash, natijada xususiyatlar xaritasi bo'lishiga imkon beradi ekvariant vizual sohadagi kirish xususiyatlari joylarining o'zgarishi ostida, ya'ni ular tarjima ekvariansini beradi.

  
  

• Hovuzlash: CNN-ning birlashma qatlamlarida xususiyat xaritalari to'rtburchaklar pastki mintaqalarga bo'linadi va har bir to'rtburchaklardagi xususiyatlar mustaqil ravishda bitta qiymatgacha namuna olinadi, odatda ularning o'rtacha yoki maksimal qiymatini oladi. Xususiy xaritalar hajmini kamaytirishga qo'shimcha ravishda, hovuzlash operatsiyasi bir daraja beradi tarjima invariantligi undagi xususiyatlarga ko'ra, CNN o'z pozitsiyalaridagi o'zgarishlarga nisbatan yanada mustahkamroq bo'lishiga imkon beradi.

  
  

Ushbu xususiyatlar birgalikdaCNN-larga yaxshiroq umumlashtirishga imkon beradi ko'rish muammolari.

Konvolyutsion qatlam CNN ning asosiy tarkibiy qismidir.Qatlamning parametrlari o'rganiladigan to'plamdan iborat filtrlar (yoki yadrolari ), ular kichik qabul qiluvchi maydonga ega, ammo kirish hajmining to'liq chuqurligi bo'ylab tarqaladi. Oldinga o'tish paytida har bir filtr bo'ladi o'ralgan hisoblash hajmining kengligi va balandligi bo'ylab nuqta mahsuloti filtr va kirish yozuvlari o'rtasida va 2 o'lchovli ishlab chiqarish faollashtirish xaritasi ushbu filtrdan. Natijada, tarmoq ba'zi bir aniq turlarini aniqlaganda faollashadigan filtrlarni o'rganadi xususiyati kirishda ba'zi bir fazoviy holatida.

Barcha filtrlar uchun aktivizatsiya xaritalarini chuqurlik o'lchovi bo'ylab birlashtirish konvolutsiya qatlamining to'liq chiqish hajmini hosil qiladi.Chiqish hajmidagi har bir yozuv, shu bilan birga, kirishdagi kichik mintaqani ko'rib chiqadigan va parametrlarni bir xil faollashtirish xaritasida neyronlar bilan baham ko'radigan neyronning chiqishi sifatida talqin qilinishi mumkin.

Odatda CNN arxitekturasi
Tasvirlar kabi yuqori o'lchovli kirishlar bilan ishlashda neyronlarni avvalgi hajmdagi barcha neyronlarga ulash maqsadga muvofiq emas, chunki bunday tarmoq arxitekturasi ma'lumotlarning fazoviy tuzilishini hisobga olmaydi.Konvolyutsion tarmoqlar a-ni qo'llash orqali fazoviy mahalliy korrelyatsiyadan foydalanadilar siyrak mahalliy ulanish qo'shni qatlamlarning neyronlari orasidagi naqsh: har bir neyron faqat kirish hajmining kichik qismiga bog'langan.
Ushbu ulanishning darajasi a giperparametr deb nomlangan qabul qiluvchi maydon neyron. Ulanishlar kosmosda mahalliy (kenglik va balandlik bo'ylab), lekin har doim kirish hajmining butun chuqurligi bo'ylab cho'zing. Bunday arxitektura o'rganilgan filtrlarning fazoviy mahalliy kirish uslubiga eng kuchli javob berishini ta'minlaydi.