Neyron tarmoqlari

ekspert tizimlari sun’iy intellekt sohasida izlanishlarning ustuvor yo’nalishlaridan biri bo’lgan . Ekspert tizimlari yaxshi ishladi, ammo faqat yuqori ixtisoslashgan sohalarda. Ko’proq universal aqlli tizimlarni yaratish uchun boshqacha yondashuv talab qilindi. Ehtimol, bu sun’iy intellekt tadqiqotchilari e’tiborini inson miyasining ostidagi biologik neyron tarmoqlarga qaratganligiga olib keldi.
Sun’iy intellektdagi neyron tarmoqlari biologik neyron tarmoqlarining soddalashtirilgan modelidir.
O’xshashlik shu yerda tugaydi. Inson miyasining tuzilishi yuqorida aytib o’tilganlarga qaraganda ancha murakkab va shuning uchun uni hech bo’lmaganda aniqroq ko’paytirish mumkin emas.
Neyron tarmoqlari juda ko’p muhim xususiyatlarga ega, ammo asosiysi bu o’rganish qobiliyatidir. Neyron tarmog’ini o’rganish birinchi navbatda neyronlar orasidagi sinaptik aloqalarning «kuchini» o’zgartirishni o’z ichiga oladi. Buni quyidagi misol yaqqol ko’rsatib turibdi. Pavlovning klassik tajribasida har safar itni boqishdan oldin qo’ng’iroq jiringladi. It tezda qo’ng’iroqni ovqat bilan bog’lashni o’rganib oldi. Bunga miyaning eshitish uchun javob beradigan qismlar va tuprik bezlari orasidagi sinaptik aloqalar kuchayganligi sabab bo’lgan. Va qo’ng’iroq sadosi bilan neyron tarmoqning keyingi qo’zg’alishi itda kuchli tupurikka olib kela boshladi.
Jasalma neyron tarmaqları (SNT), ádetde ápiwayıǵana neyron tarmaqları (NT) dep ataladı, haywanlar miyasini quraytuǵın biologiyalıq neyron tarmaqlardan yoshlangan esaplaw sistemaları.
SNT jasalma neyronlar dep atalatuǵın baylanısqan birlikler yamasa túyinler kompleksine tiykarlanadı, olar biologiyalıq miyadagi neyronlardı erkin modellestiredi. Jasalma neyron signallardı aladı, keyin olardı qayta isleydi hám oǵan jalǵanǵan neyronlarǵa signal beriwi múmkin. Jalǵanıw daǵı „signal“ haqıyqıy nomer bolıp, hár bir neyroNTing shıǵıwı onıń kiriwleri jıyındısınıń sızıqlı bolmaǵan funktsiyası menen esaplanadı. Jalǵanıwlar dep ataladı qırlar. Neyronlar hám shetler ádetde úyreniw dawam jetip atırǵanda sazlanatuǵın vaznga iye. Neyronlar sonday shegaraǵa ıyelewi múmkin, signal tek jıynalǵan signal bul shegaranı kesip ótken táǵdirdagina jiberiledi. Ádetde, neyronlar qatlamlarǵa jıynaladı. Signallar birinshi qatlamnan (kirisiw qatlamı ), aqırǵı qatlamǵa (shıǵıw qatlamı ), itimal, qatlamlardı bir neshe ret basıp ótkennen keyin ótedi.
Neyron tarmaqlar mısallardı qayta islew arqalı úyrenedi (yamasa oqıtıladı ), olardıń hár biri málim „kirish“ hám „natija“ ni óz ishine aladı hám olar ortasında itimallıq menen o'lchangan assotsiatsiyalarni payda etedi, olar tarmaqtıń ózinde saqlanatuǵın maǵlıwmatlar strukturasında saqlanadı. Berilgen mısal boyınsha neyron tarmaqtı úyretiw ádetde tarmaqtıń qayta islengen shıǵıwı (kóbinese boljaw ) hám maqsetli shıǵıwı ortasındaǵı farqni anıqlaw arqalı ámelge asıriladı. Keyin tarmaq óz vaznli assotsiatsiyalarini úyreniw qaǵıydasına kóre hám bul qáte ma`nisinen paydalanıp sazlaydı. Bul ońlawlardıń etarli sanınan keyin, shınıǵıw arnawlı bir kriteryalar tiykarında toqtatılıwı múmkin.
Bunday sistemalar mısallardı kórip shıǵıw arqalı tapsırmalardı orınlawdı „o'rganadi“, ádetde wazıypaǵa tán qaǵıydalar menen programmalastırıwtirilmaydi. Mısalı, suwretti anıqlawda olar „mushuk“ yamasa „mushuk joq“ dep qolda jarlıqlanǵan mısal suwretlerdi analiz qılıw hám basqa suwretler degi pıshıqlardı anıqlaw ushın nátiyjelerden paydalanıw arqalı pıshıqlar bar suwretlerdi anıqlawdı úyreniwi múmkin.
Uorren Makkallok hám Uolter Pits (1943) neyron tarmaqlar ushın esaplaw modelin jaratıw arqalı temanı ashtılar. 1940 -jıllardıń aqırında DO Hebb neyron plastisiya mexanizmine tiykarlanǵan tálim gipotezasini jarattı, ol Hebbian úyreniw atı menen ataqlı boldı. Farley hám Uesli A. Klark (1954) Hebbian tarmaǵın simulyatsiya qılıw ushın daslep esaplaw mashinalarınan paydalanǵan. 1958-jılda psixolog Frenk Rozenblat Amerika Qospa Shtatları Teńiz izertlewleri basqarması tárepinen finanslashtirilgan birinshi jasalma neyron tarmaǵı bolǵan perseptroNT oylap tabıw etdi. Kóp qatlamlı birinshi funktsional tarmaqlar 1965-jılda Ivaxnenko hám Lapa tárepinen Maǵlıwmatlar menen islewdiń gruppa usılı retinde baspa etilgen. Úzliksiz keyin basıp tarqalıw tiykarları basqarıw teoriyası kontekstinde 1960 -jılda Kelli hám 1961-jılda Brayson tárepinen dinamikalıq programmalastırıw principlerıden paydalanǵan halda alınǵan. Keyinirek izertlew Minsky hám Papert (1969 ) den keyin toqtap qaldı, olar tiykarǵı .
1970-jılda Seppo LiNTainmaa ishki differensiallanuvchi funktsiyalardıń diskret jalǵanǵan tarmaqların avtomatikalıq parıqlawdıń ulıwma usılın (AD) baspa etdi. 1973-jılda Íǵıwus basqarıwshılar parametrlerin qáte gradientlariga proporcional túrde maslastırıw ushın keyin basıp tarqalıw usılınan paydalanǵan. 1982-jılda ol LiNTainmaaning AD usılın neyron tarmaqlarǵa keń qollanılǵan usılda qolladı.
Bul 1980-jıllarda ámeliy jasalma neyron tarmaqlardı islep shıǵıw ushın kóbirek qayta islew quwatın támiyinledi.[21]
1986 -jılda Rumelhart, Xinton hám Uilyams izbe-izlilikde keyingi sózdi boljawǵa uyretilganda, arqa tarqalıw sózlerdiń qızıqlı ishki kórinislerin ózgeshelik vektorları retinde úyrengenligin kórsetdi.
1988-jıldan baslap, neyron tarmaqlardan paydalanıw belok dúzilisin boljaw salasın ózgertirdi, birinshi kaskadli tarmaqlar bir neshe izbe-izliklerdi tegislew arqalı islep shıǵarılǵan profiller (matritsalar) boyınsha oqıtilganda.
Deformatsiyaga tolerantlik menen járdem beriw ushın max-pooling engizildi. Shmidxuber kóp dárejeli tarmaqlar ierarxiyasini qabılladı (1992) qadaǵalawsız úyreniw arqalı bir waqtıniń ózinde bir dáreje aldınan oqıtılǵan hám keyin basıp tarqalıw arqalı názik dúzilgen.
Neyron tarmaqlardıń dáslepki tabısları birja bazarın boljaw hám 1995-jılda (tiykarınan ) ózin ózi basqaratuǵın avtomobildi óz ishine aladı.
Geoffrey Xinton hám basqalar. (2006 ) hár bir qatlamdı modellestiriw ushın sheklengen BoltzmSNT mashinası . 2012-jılda Ng hám Dinge sıyınıw tek jarlıqsız suwretlerdi tamasha qılıw arqalı pıshıqlar sıyaqlı joqarı dárejedegi túsiniklerdi tán alıwdı úyrengen tarmaq jarattılar. Qadaǵalawsız aldınan oqıtıw hám GPU hám bólistirilgen esaplaw quwatınıń artpaqtası úlkenlew tarmaqlardan paydalanıwǵa múmkinshilik berdi, atap aytqanda, suwret hám vizual anıqlaw máselelerinde " tereń úyreniw " atı menen ataqlı boldı.
Ciresan jáne onıń kásiplesleri (2010 ) gradient mashqalasınıń joǵalıp ketiwine qaramay, GPOlar kóp qatlamlı aldınǵa ótiletuǵın neyron tarmaqlar ushın keyin basıp tarqalıwdı ámelge asırıw múmkinligin kórsetdi. 2009 hám 2012-jıllar aralıǵinda SNT suwretlerdi anıqlaw tańlawlarında bayraqlardı qolǵa kirita basladı, daslep naǵıstı anıqlaw hám qol jazıwın teńib alıw boyınsha túrli wazıypalarda insan dárejesindegi islewge jaqınlasdı. 2009 -jılda uyreniletuǵın ush til haqqında aldınan maǵlıwmatqa iye bolmaǵan halda qol jazıwın bólew boyınsha ush tańlawda jeńimpaz shıqtı.
Ciresan jáne onıń kásiplesleri jol belgilerin teńib alıw (IJCNT 2012) sıyaqlı kriteryalarda insoNTing básekige shıdamlı/g'ayritabiiy islewine erisiw ushın birinshi úlgi tán alıwshılardı jarattılar.


Bugungi kunda neyron tarmoqlar sun’iy intellekt sohasidagi tadqiqotlarning ustuvor yo’nalishlaridan biridir.
Sun’iy intelektda asosan quydagi 3 ta turidan foydalaniladi:
Feedforward (to’g’ridan aloqa) neyron tarmoqlari:
Feedforward neyron tarmoqlari - bu yaratilgan sun'iy neyron tarmoqlarining birinchi turi va bugungi kunda eng ko'p ishlatiladigan tarmoqlar deb hisoblash mumkin. Ushbu neyron tarmoqlari to’g’ri aloqa neyron tarmoqlari deb ataladi, chunki tarmoq orqali ma'lumot oqimi sikl (loop) o'tmasdan bir tomonlama bo'ladi. Feedforward neyron tarmoqlari, yashirin qatlamlar mavjudligiga qarab, bir qatlamli tarmoqlarga yoki ko'p qatlamli tarmoqlarga tasniflanishi mumkin. Qatlamlar soni bajarilishi kerak bo'lgan vazifaning murakkabligiga bog'liq. Bir qatlamli neytron tarmog'i faqat ikkita neyron qatlamidan iborat va ular orasida yashirin qatlamlar yo'q. Ko'p qatlamli perkeptronlar ma'lumotni qayta ishlashning bir necha bosqichlarini o'tkazishga imkon beradigan kirish va chiqish qatlamlari orasidagi bir nechta yashirin qatlamlardan iborat.
Feedforward neyron tarmoqlari ko'pincha ob'ektni aniqlash va nutqni aniqlash tizimlarida qo'llaniladi.
Takroriy (Recurrent) neyron tarmoqlar:
Takrorlanadigan neyron tarmoqlar (RNN), nomidan ko'rinib turibdiki, operatsiyalarning tsikl shaklida takrorlanishini o'z ichiga oladi. Ular oldingi tarmoqlarga qaraganda ancha murakkab va tasvirni asosiy tanib olishdan ko'ra murakkabroq vazifalarni bajara oladilar. Masalan, takrorlanadigan neyron tarmoqlari odatda matnni o’qib berishda va til yaratishda qo'llaniladi. Tabiiy tilni anglash va uni yaratish, takrorlanadigan neyron tarmoqlari arxitekturasi tufayli amalga oshiradigan tasvirni aniqlashdan ko'ra ancha murakkab ishlov berishni o'z ichiga oladi. Uzoq muddatli neyron tarmoqlarida ulanishlar faqat bitta neyrondan keyingi qatlamlarda neyronlarga hech qanday teskari aloqa qilmasdan olib boradigan bo'lsa, takroriy neyron tarmoqlar ulanishning yana bir xil qatlamdagi neyronlarga olib borishiga imkon beradi, bu esa operatsiyalarning yanada keng doirasini ta'minlaydi.
Biroq, an'anaviy RNN-larda bir nechta cheklovlar mavjud. Ularni o'qitish qiyin va juda qisqa muddatli xotiraga ega, bu ularning funksionalligini cheklaydi. Xotira cheklanishini bartaraf etish uchun LSTM yoki Uzoq Qisqa muddatli Xotira tarmoqlari deb nomlanuvchi RNN ning yangi shakli qo'llaniladi. LSTMlar uzoq muddatli xotira bilan bog'liq vazifalarni bajarishi uchun xotira RNNlarini kengaytiradi.
RNN-larning asosiy dastur sohalariga tabiiy tillarni qayta ishlash muammolari kiradi, masalan nutq va matnni aniqlash, matnni bashorat qilish va tabiiy tilni yaratish.