Muxammad al-xorazmiy nomidagi toshkent axborot texnologiyalari universiteti samarqand filiali kompyuter tizimlari kafedrasi 5330500 Kompyuter injiniring ta'lim yo'nalishi “Mashinali o’qitishga kirish

To’liq bog’lanishli qatlam. To’liq bog’lanishli qatlam bir qatlamdagi har bir neyronlarni boshqa qatlamlardagi neyronlar bilan birlashtiradi. Bu prinsip jihatdan an’anaviy ko’p qatlamli preseptron neyron tarmoq bilan bir xildir. FC qatlami har doim tarmoq yakunida joylashadi. Odatda softmax klassifikatori oldidan bitta yoki ikkita FC qatlamidan foydalaniladi. Quyida FC qatlami tarmoq arxitekturasidagi joylashuvi keltirilgan:
INPUT=>CONV=>RELU=>POOL=>CONV=>RELU=>POOL=>FC=>FC
Bu yerda biz 2 ta to’liq bog’lanishli qatlamini softmax klassifikatori oldidan qo’llanilgan.
Batch normalization qatlami. BN qatlami nomidan kelib chiqib, tarmoqdagi keyingi qatlamga o’tishdan oldin berilgan kirish hajmini faollashtirishlashni normallashtirish uchun ishlatiladi. Agar ni mini-batch faollashtirishsi desak, unda normallashgan ni quyidagi ifoda yordamida hisoblaymiz


Dropout qatlami. Dropout – bu tarmoqda overfitting muammosini oldini olish uchun mo’ljallangan ANN larni muntazam ravishda tartibga solish usuli sanaladi. Usulning mohiyati shundan iboratki, o’qitish jarayonida ma’lum bir miqdordagi neyronlar (masalan, 30%) tasodifiy tanlab olinib, o’chirib tashlanadi. Ushbu usul o’qitish samaradorligini va natija sifatini yaxshilaydi.
Model arxitekturasi. Keng tarqalgan CNN arxitekturasining tuzilishida CONV => RELU => POOL qatlamlari birgalikda bir necha marta qo’llanilganligini ko’rish mumkin. Odatda bu ketma-ketlik belgilar kartasining bo’yi va eni kichraygunga qadar amalga oshiriladi va shu momentda bir yoki bir nechta FC qatlami qo’llaniladi. Shunday ekan biz quyida keltirilgan sxemadan foydalangan holda keng tarqalgan CNN arxitekturasini yaratishimiz mumkin:
INPUT=>[[CONV=>RELU]*N =>POOL?]*M =>[FC =>RELU]*K=>FC
Bu yerda “ * ” operatori bir yoki bir necha marta qo’llanilishini “ ? ” operatori esa bajarilishi shart bo’lmagan amal ekanligini ko’rsatadi. Har birining takrorlanish uchun umumiy variantlar quyidagilarni o’z ichiga oladi:

• 
  0 <= N <= 3;
  
  • 
    M >= 0;
    
  • 
    0 <= K <= 2.
    

O’zbek tilidagi ajratilgan so’z tovushlarini sinflashtirishning taklif qilingan CNN model 17.4-rasmda ko’rsatilgan bo’lib, 4 ta svyortka qatlami, 1 ta to’liq bog’langan qatlam va 1 ta Softmax qatlamidan tashkil topgan. Ya’ni bizning CNN model quyidagi sxematik diagrammaga ega:
INPUT => [CONV => RELU=> POOL]*4=>FC => RELU=>FC
CNN ga kiruvchi ma’lumot sifatida o’zbek tilidagi sanoq so’z tovushlaridan olingan 128 x 128 o’lchamdagi spektrogramma tasvirlari keladi. Boshlang’ich svyortka qatlami ushbu spektrogramma tasvirlaridan belgilarni ajratib olish uchun svyortka amalidan foydalanadi (17.4-rasm).

17.4-rasm. Nutq buyruqlarini tanishning CNN arxitekturasi.
S1 qatlamda qadami (stride) 1 ga teng bo’lgan 3 x 3 svyortka yadrosi ishlatilgan va 32 ta belgilar kartasi hosil qilingan. Undan keyin rectified linear units (ReLU) faollashtirish funksiyasi va 2 x 2 o’lchamdagi max pooling amali bajariladi. S2 qatlamda ham xuddi S1 qatlamda keltirilgan parametrdagi amallar takrorlangan. S3 va S4 qatlamlarda 3 x 3 o’lchamdagi yadro svyortkasi ishlatilgan va 64 ta belgilar kartasi hosil qilingan. Har bir svyortka qatlamlaridan keyin ReLU faollashtirish funksiyasi qo’llanilgan. S4 qatlamidan keyin mos ravishda 150 ta neyronlardan iborat FC qatlami va 24 ta neyronlardan iborat Softmax qatlami keladi. Me’yoridan ortiq o’rganish (overfitting) muammosiga uchramaslik uchun FC va Softmax qatlamlari orasida 50% nisbatda dropout amali qo’llanilgan.