Muxammad al-xorazmiy nomidagi toshkent axborot texnologiyalari universiteti samarqand filiali kompyuter tizimlari kafedrasi 5330500 Kompyuter injiniring ta'lim yo'nalishi “Mashinali o’qitishga kirish

Svyortka qatlami. Svyortka qatlami – bu CNN tarmoqning asosiy bloki sanaladi. Svyortka qatlami har bir kanal uchun o’zining filtr yadrosini o’z ichiga oladi, svyortka yadrosi esa fragment bo’yicha o’zidan oldingi qatlamlarga ishlov beradi (har bir fragment uchun matrisa ko’paytmalari natijalarini yig’ish hisobiga). Svyortka yadrosining vazn koeffisiyentlari (kichik matrisa) noma’lum va ular o’qitish jarayonida o’rnatiladi. Svyortka jarayoni quyidagi (17.1) formula yordamida hisoblanadi:
(17.1)
Bu yerda 𝑎 - svyortka qatlamning chiquvchi qiymati, 𝑘 - filtr yadrosi, 𝑙 - yadrolar soni asosida aniqlanadigan chiquvchi qatlamlar soni 𝑖 - har bir hisoblash bosqichidagi yadro harakatining qadami, 𝑀𝑗 - turli yadrolar asosida yaratilgan 𝑗 chi karta xarakteristikasi, 𝑏 – bias va (17.1) formuladagi 𝑓 – faollashtirish funksiyasi sanaladi. Odatda faollashtirish funksiyalari sigmoidal ko’rinishga ega. Faollashtirish funksiyalarining bir nechta turi mavjud bo’lib, ularni qaysi birini qo’llash izlanuvchilarning tanloviga bog’liq.
Faollashtirish qatlami. Har bir svyortkaning skalyar natijasi chiziqli bo’lmagan faollashtirish funksiyasidan o’tkaziladi. Faollashtirish qatlami odatda svyortka qatlam bilan mantiqan birlashtirilgan. Chiziqsiz funksiya tadqiqotchining tanlovi bo’yicha ixtiyoriy bo’lishi mumkin. Odatda sigmoidali ((𝑥)=(1+𝑒−𝑥) −1) yoki Relu funksiyalardan foydalaniladi.
Relu faollashtirish funksiyasining taklif qilinishi o’qitish jarayonini sezilarli tezlashtirdi va bir vaqtning o’zida hisoblashni soddalashtirdi (funksiyaning soddaligi hisobiga). Funksiya (𝑥)=max (0,𝑥) ko’rinishga ega. Shuning hisobiga bu skalyar miqdorning manfiy qismlarini olib tashlash operasiyasi sanaladi. Hozirgi kunda Relu funksiyasining modifikasiyalangan variantlari (Noisy ReLU, Leaky ReLU va boshqalar) DNN tarmoqlarida, xususan CNN da keng qo’llanilmoqda.
Pooling qatlami. Kiruvchi tasvir hajmini kichraytirishning 2 ta usuli mavjud. CONV qatlamida filtr qadami stride>1 holatda hamda POOL qatlami yordamida amalga oshirish mumkin. CNN arxitekturasida POOL qatlami ketma-ket keladigan CONV qalamlari o’rtasida keladi:
INPUT=>CONV=>RELU=>POOL=>CONV=>RELU=>POOL=>FC
POOL qatlamining asosiy vazifasi tasvir hajmini (eni va bo’yini) asta-sekin kamaytirishdir. Buni amalga oshirish tarmoqdagi parametrlar va hisoblashning hajmini kamaytirishga imkon beradi. Bu esa ortiqcha moslashish (overfitting) ni nazorat qilishga yordam beradi. Uning 2 ta turi qo’llaniladi maksimal (max) va o’rtacha (average). Qoida bo’yicha POOL 2 × 2 o’lchami ishlatiladi, kiruvchi tasvir o’lchami (> 200 piksel) katta bo’lganda 3 × 3 o’lchami ishlatiladi.