Referat jumisi Tayarlag`an : Jannazarov Atanazar Qabillag`an : Aymuratov Aydos Jobasi

c) Neyron tarmaqlariniń túrleri
1. Perseptron
Minsky-Papert perseptron modeli eń ápiwayı hám eń áyyemgi neyron modellerinen biri bolıp tabıladı. Bul neyron tarmaqtıń eń kishi birligi bolıp, kiretuǵın maǵlıwmatlarda ayrıqshalıqlardı yamasa biznes razvedkasin anıqlaw ushın belgili esap-kitaplardı ámelge asıradı. Ol salmaqli maǵlıwmatlardı aladı hám juwmaqlawshı nátiyjege erisiw ushın aktivlestiriw funksiyasın qollaydı. TLU (qapı logika birligi) perseptronniń basqa nomi bolıp tabıladı.

Perceptron ekilik klassifikator bolıp, maǵlıwmatlardı eki gruppaǵa bolatuǵın qadaǵalaw etiletuǵın oqıw sisteması bolıp tabıladı. Logika qapıları AND, OR hám NAND sıyaqlılar perseptronlar járdeminde ámelge asırılıwı múmkin.
2. Aldınǵa Uzatıw Neyron Tarmaǵı
Kirisiw maǵlıwmatları tek bir jóneliste aǵatuǵin neyron tarmaqlardıń eń tiykarǵı versiyası jasalma neyron túyinleri arqalı ótedi hám shıǵıw túyinleri arqalı shıǵadı. Jasırın qatlamlar bar boliwi yamasa bolmawi múmkin bolǵan orınlarda kirisiw hám shıǵıw qatlamları bar. Olardı bir qatlamlı yamasa kóp qatlamlı aldınǵa uzatılatuǵın neyron tarmaq retinde xarakteristikalaw múmkin.

Ámeldegi qatlamlar sanı funktsiyanıń quramalılıǵı menen belgilenedi. Ol tek bir jóneliste aldınǵa tarqaladı hám keyin basıp tarqalmaydı. Bul jerde salmaqlar turaqlı bolıp qaladı. Aktivlestiriw funktsiyasın támiyinlew ushın kiriwler salmaqlarǵa kóbeytiriledi. Onıń ushın klassifikaciyanı aktivlestiriw funktsiyası yamasa basqıshlı aktivlestiriw funksiyasınan paydalanıladı.
3. Kóp Qabatlı Perseptron
Quramalılarǵa kirisiw neyron tarmaqları, ol jaǵdayda kirisiw maǵlıwmatları jasalma neyronlardıń kóp qatlamları arqalı jóneltiriledi. Bul pútkilley baylanısqan neyron tarmaq bolıp tabıladı, sebebi hár bir túyin keyingi qatlamdaǵı barlıq neyronlarǵa jalǵanǵan. Kirisiw hám shıǵıw qatlamlarında bir neshe jasırın qatlamlar, yaǵnıy keminde úsh yamasa odan artıq qatlamlar bar.

Ol óz-ara tarqalıwǵa iye, yaǵnıy ol aldınǵa hám keyin basıp tarqala aladı. Kiriwler salmaqlarǵa kóbeytiriledi hám aktivlestiriw funktsiyasına jiberiledi, bul jerde olar joytıwdı minimallastırıw ushın keyin basıp tarqalıw arqalı ózgertiriledi.
Salmaqlar ápiwayı etip aytqanda, Neyron tarmaqlarınan mashina tárepinen úyrenilgen bahalar bolıp tabıladı. Kútilip arǵan nátiyjeler hám oqıw kiriwleri ortasındaǵı uyqaspawshılıqqa qaray, olar óz-ózinen sazlanadı. Softmax sızıqlı bolmaǵan aktivlestiriw funktsiyalarınan keyin shıǵıw qatlamın aktivlestiriw funktsiyası retinde isletiledi.
4. Konvolyutsion Neyron Tarmaq
Dástúriy eki ólshewli dızbekten ayrıqsha bolıp esaplanıw, konvolyutsion neyron tarmaǵı neyronlardıń úsh ólshewli konfiguratsiyasina iye. Birinshi qatlam konvolyutsion qatlam retinde belgili. Konvolyutsion qatlam daǵı hár bir neyron tek kóriw maydanınıń sheklengen bólegindegi maǵlıwmatlardı qayta isleydi. Filtr sıyaqlı, kirgiziw qásiyetleri ǵalabalıq rejimde alınadı.
Tarmaq bólimlerindegi súwretlerdi túsinedi hám pútkil suwretti qayta islewdi tamamlaw ushın bul ámellerdi bir neshe ret orınlawı múmkin.
Súwret qayta islew processinde RGB yamasa HSI den kúlreń reńge ózgertiriledi. Piksel ma`nisiniń keyingi ózgerisleri qırlardı anıqlawǵa járdem beredi hám súwretlerdi bir neshe gruppalarǵa ajıratıw múmkin. Bir jónelisli tarqalıw CNN bir yamasa bir neshe konvolyutsion qatlamlardı óz ishine alǵan halda júz beredı, sonnan keyin birlespe hám óz-ara tarqalıw konvolyutsiya qatlamınıń shıǵıwı suwretti klassifikaciyalaw ushın tolıq jalǵanǵan neyron tarmaqqa jiberilgende júz beredi.
Suwrettiń ayırım elementlerin ajıratıp alıw ushın filtrlerden paydalanıladı. MLP de kiriwler olshenedi hám aktivlestiriw funktsiyasına kiritiledi. RELU konvolyutsiyada isletiledi, MLP bolsa sızıqlı bolmaǵan aktivlestiriw funktsiyasınan keyin softmaxdan paydalanadı. Súwret hám videonı anıqlaw, semantik analiz qılıw hám parafrazni anıqlawda konvolyutsion neyron tarmaqlar ájayıp nátiyjeler beredi.
5. Radial Bias Tarmaǵı
Kirisiw vektorınan keyin RBF neyronları qatlamı hám Radial Basis Function Networkdaǵi hár bir taypa ushın bir túyinli shıǵıw qatlamı keledi. Kirisiw hár bir neyron prototipini saqlaytuǵın oqıw kompleksindegi maǵlıwmatlar noqatları menen salıstırıwlaw jolı menen klassifikaciyalanadı. Bul oqıw kompleksiniń mısallarınan biri bolıp tabıladı..

Hár bir neyron jańa kirisiw vektorı siz gruppalashtirmoqchi bolǵan n ólshewli vektor] klassifikaciyalanıwı kerek bolǵanda, kirisiw jáne onıń prototipi ortasındaǵı Evklid aralıǵın esaplab shıǵadı. Eger bizde eki klass ámeldegi bolsa, A klası hám B klası, taypaǵa kirgizetuǵın jańa kirisiw B klass prototiplariga qaraǵanda A klass prototiplariga kóbirek uqsaydı.
Nátiyjede, ol A klası retinde etiketlanishi yamasa klassifikaciyalanıwı múmkin.
6. Tákirarlanıwshı Neyron Tarmaq
Qayta neyron tarmaqları qatlamdıń shıǵıwın saqlaw hám keyin qatlam nátiyjelerin prognoz qılıw ushın onı kiriwge qaytarıw ushın mólsherlengen. Aldınǵa uzatıw neyron tarmaq ádetde baslanǵısh qatlam bolıp, odan keyin tákirarlanıwshı neyron tarmaq qatlamı bolıp, bul jerde yad funktsiyası aldınǵı waqıt basqıshında ámeldegi bolǵan maǵlıwmatlardıń bir bólegin eslab qaladı.

Bul stsenariy aldınǵa tarqalıwdan paydalanadı. Bul keleshekte kerek bolatuǵın maǵlıwmatlardı saqlaydı. Eger boljaw nadurıs bolsa, úyreniw tezligi kishi ońlawlar kirgiziw ushın isletiledi. Nátiyjede, keyin basıp tarqalıw dawam eter eken, ol barǵan sayın anıqlaw boladı.