Referat jumisi Tayarlag`an : Izbaev Baxtibay Qabillag`an : Aytimuratov Aydos Jobasi: Kirisiw

Muxammad Al-Xorezmiy atindag`i Tashkent Axborot-texnologiya Universiteti
Nokis Filiali Kompyuter-Injiringi qanigeligi


4-kurs 3001-19/1 qaraqalpaq sirtqi bólim studeni: Izbaev Baxtibaydiń
Mashinali oqitiwǵa kirisiw pa`ninen
“Jasalma neyron tarmaqlarina kirisiw” temasinda islegen
Referat jumisi


Tayarlag`an : Izbaev Baxtibay
Qabillag`an : Aytimuratov Aydos


Jobasi:
Kirisiw
1. Neyron tarmaqlari
2. Jasalma neyronlar
3. Neyron tarmaq arxitekturası hám klassik Fon Neyman arxitekturası ortasındaǵı ayırmashılıqlar
Juwmaqlaw
Paydalanilǵan ádebiyatlar dizimi.

1. Neyron tarmaqları
Neyron tarmaqları — bul insannıń nerv sistemasın kóbeytiwge urınıslarǵa tiykarlanǵan jasalma intellekt salasındaǵı izertlewler baǵdarlarınan biri. Áyne: nerv sistemasınıń qátelerdi úyreniw hám ońlaw qábileti, bul bizge adam miyiniń islewin eliklewge múmkinshilik beredi.
Insan nerv sisteması yamasa nerv sisteması — bul denediń barlıq sistemalarınıń óz-ara baylanıslı minez-qulqların támiyinleytuǵın quramalı strukturalar tarmaǵı.
Biologiyalıq neyron — bul yadrodan, kletkalı deneden hám processlerden ibarat bolǵan arnawlı kletka bolıp tabıladı. neyronniń tiykarǵı wazıypalarınan biri basqa neyronlar menen jalǵanıw arqalı neyron tarmaǵına elektroximyaliq impulsti jiberiw bolıp tabıladı. Bunnan tısqarı, hár bir baylanıs sinaptik baylanıstıń kúshi dep atalatuǵın málim bir muǵdar menen xarakterlenedi. Bul baha basqa neyronǵa ótkerilgende elektroximyaliq impuls penen ne júz bolıwın anıqlaydı : ol kúsheyedi yamasa kùshsizlenedi yamasa ózgerissiz qaladı.
Biologiyalıq neyron tarmaq joqarı dárejedegi jalǵanıwǵa iye: basqa neyronlar menen bir neshe mıń baylanıs bir neyronǵa túsiwi múmkin. Biraq, bul shamalıq baha hám hár bir jaǵdayda ol basqasha. Bir neyronnan ekinshisine impulslarning uzatılıwı pútkil neyron tarmaǵınıń málim bir qozǵalıwın keltirip shıǵaradı. Bul qozǵalıwdıń úlkenligi neyron tarmaqtıń birpara kirisiw signallarına juwabın anıqlaydı. Mısalı, adamdıń eski tanıwı menen ushırasıwı, eger birpara tanıs hám jaǵımlı turmıs yadları bul tanısıw menen baylanıslı bolsa, neyron tarmaǵınıń kúshli qozǵalıwına alıp keliwi múmkin. Óz gezeginde, neyron tarmaǵınıń kúshli qozǵalıwı júrek urıw tezliginiń asıwına, kózlerdiń tez-tez janıp turıwına hám basqa reakciyalarǵa alıp keliwi múmkin. Neyron tarmaq ushın notanish adam menen ushırasıw derlik múmkinshiliksiz boladı,
Biologiyalıq neyron tarmaǵınıń tómendegi júdá jónlestirilgen modelin beriw múmkin:
Hár bir neyron yadrodan shólkemlesken kletkalı deneden ibarat. Dendrit dep atalatuǵın kóplegen qısqa talshıqlar kletkanıń denesinen ajralıp shıǵadı. Uzaq dendritlarga aksonlar dep ataladı. Aksonlar uzaq aralıqlardı basıp ótiwedi, bul nomer ólshewinde kórsetilgennen ádewir ulken bolıp tabıladı. Aksonlar ádetde 1 sm uzınlıqqa iye (bul kletka denesiniń diametrinen 100 teńdey kóp), biraq 1 metrge jetiwi múmkin.
XX ásirdiń 60 -80-jıllarında ekspert sistemaları jasalma intellekt salasında izertlewlerdiń ústin turatuǵın baǵdarlarınan biri bolǵan. Ekspert sistemaları jaqsı isledi, biraq tek joqarı qánigelesken tarawlarda. Kóbirek universal sanalı sistemalardı jaratıw ushın basqasha jantasıw talap etildi. Itimal, bul jasalma intellekt izertlewshilerdińi itibarın insan miyiniń astındaǵı biologiyalıq neyron tarmaqlarǵa qaratganligiga alıp keldi.
Jasalma intellektdagi neyron tarmaqları biologiyalıq neyron tarmaqlarınıń ápiwayılastırılgan modeli bolıp tabıladı.
Uqsawlıq bulmanda tawsıladı. Insan miyiniń dúzilisi joqarıda aytıp ótilgenlerge qaraǵanda talay quramalı hám sol sebepli onı hesh bolmaǵanda anıqlaw kóbeytiw múmkin emes.
Neyron tarmaqları júdá kóp zárúrli ayrıqshalıqlarǵa iye, biraq tiykarǵısı bul úyreniw qábileti bolıp tabıladı. Neyron tarmaǵın úyreniw birinshi náwbette neyronlar arasındaǵı sinaptik baylanıslardıń «kuchini» ózgertiwdi óz ishine aladı. Bunı tómendegi mısal ayqın kórsetip turıptı. Pavlovning klassik tájiriybesinde hár sapar itni bagıwdan aldın qońıraw jiringladi. Íyt demde qońırawdı awqat menen bólewdi úyrenip aldı. Buǵan miydiń esitiw ushın juwap beretuǵın bólimler hám tuprik bózi arasındaǵı sinaptik baylanıslar kúshayganligi sebep bolǵan. hám qońıraw sesi menen neyron tarmaqtıń keyingi qozǵalıwı itda kúshli tupurikka alıp kela basladı.
Búgingi kúnde neyron tarmaqlar jasalma intellekt salasındaǵı izertlewlerdiń ústin turatuǵın baǵdarlarınan biri bolıp tabıladı.
Jasalma neyron tarmaqları (SNT), ádetde ápiwayıǵana neyron tarmaqları (NT) dep ataladı, haywanlar miyasini quraytuǵın biologiyalıq neyron tarmaqlardan yoshlangan esaplaw sistemaları.
SNT jasalma neyronlar dep atalatuǵın baylanısqan birlikler yamasa túyinler kompleksine tiykarlanadı, olar biologiyalıq miyadagi neyronlardı erkin modellestiredi. Jasalma neyron signallardı aladı, keyin olardı qayta isleydi hám oǵan jalǵanǵan neyronlarǵa signal beriwi múmkin. Jalǵanıw daǵı „signal“ haqıyqıy nomer bolıp, hár bir neyroNTing shıǵıwı onıń kiriwleri jıyındısınıń sızıqlı bolmaǵan funktsiyası menen esaplanadı. Jalǵanıwlar dep ataladı qırlar. Neyronlar hám shetler ádetde úyreniw dawam jetip atırǵanda sazlanatuǵın vaznga iye. Neyronlar sonday shegaraǵa ıyelewi múmkin, signal tek jıynalǵan signal bul shegaranı kesip ótken táǵdirdagina jiberiledi. Ádetde, neyronlar qatlamlarǵa jıynaladı. Signallar birinshi qatlamnan (kirisiw qatlamı ), aqırǵı qatlamǵa (shıǵıw qatlamı ), itimal, qatlamlardı bir neshe ret basıp ótkennen keyin ótedi.
Neyron tarmaqlar mısallardı qayta islew arqalı úyrenedi (yamasa oqıtıladı ), olardıń hár biri málim „kirish“ hám „natija“ ni óz ishine aladı hám olar ortasında itimallıq menen o'lchangan assotsiatsiyalarni payda etedi, olar tarmaqtıń ózinde saqlanatuǵın maǵlıwmatlar strukturasında saqlanadı. Berilgen mısal boyınsha neyron tarmaqtı úyretiw ádetde tarmaqtıń qayta islengen shıǵıwı (kóbinese boljaw ) hám maqsetli shıǵıwı ortasındaǵı farqni anıqlaw arqalı ámelge asıriladı. Keyin tarmaq óz vaznli assotsiatsiyalarini úyreniw qaǵıydasına kóre hám bul qáte ma`nisinen paydalanıp sazlaydı. Bul ońlawlardıń etarli sanınan keyin, shınıǵıw arnawlı bir kriteryalar tiykarında toqtatılıwı múmkin.
Bunday sistemalar mısallardı kórip shıǵıw arqalı tapsırmalardı orınlawdı „o'rganadi“, ádetde wazıypaǵa tán qaǵıydalar menen programmalastırıwtirilmaydi. Mısalı, suwretti anıqlawda olar „mushuk“ yamasa „mushuk joq“ dep qolda jarlıqlanǵan mısal suwretlerdi analiz qılıw hám basqa suwretler degi pıshıqlardı anıqlaw ushın nátiyjelerden paydalanıw arqalı pıshıqlar bar suwretlerdi anıqlawdı úyreniwi múmkin.
Tariyx
Uorren Makkallok hám Uolter Pits (1943) neyron tarmaqlar ushın esaplaw modelin jaratıw arqalı temanı ashtılar. 1940 -jıllardıń aqırında DO Hebb neyron plastisiya mexanizmine tiykarlanǵan tálim gipotezasini jarattı, ol Hebbian úyreniw atı menen ataqlı boldı. Farley hám Uesli A. Klark (1954) Hebbian tarmaǵın simulyatsiya qılıw ushın daslep esaplaw mashinalarınan paydalanǵan. 1958-jılda psixolog Frenk Rozenblat Amerika Qospa Shtatları Teńiz izertlewleri basqarması tárepinen finanslashtirilgan birinshi jasalma neyron tarmaǵı bolǵan perseptroNTi oylap tabıw etdi. Kóp qatlamlı birinshi funktsional tarmaqlar 1965-jılda Ivaxnenko hám Lapa tárepinen Maǵlıwmatlar menen islewdiń gruppa usılı retinde baspa etilgen. Úzliksiz keyin basıp tarqalıw tiykarları basqarıw teoriyası kontekstinde 1960 -jılda Kelli hám 1961-jılda Brayson tárepinen dinamikalıq programmalastırıw principlerıden paydalanǵan halda alınǵan. Keyinirek izertlew Minsky hám Papert (1969 ) den keyin toqtap qaldı, olar tiykarǵı .
1970-jılda Seppo LiNTainmaa ishki differensiallanuvchi funktsiyalardıń diskret jalǵanǵan tarmaqların avtomatikalıq parıqlawdıń ulıwma usılın (AD) baspa etdi. 1973-jılda Íǵıwus basqarıwshılar parametrlerin qáte gradientlariga proporcional túrde maslastırıw ushın keyin basıp tarqalıw usılınan paydalanǵan. 1982-jılda ol LiNTainmaaning AD usılın neyron tarmaqlarǵa keń qollanılǵan usılda qolladı.
Bul 1980-jıllarda ámeliy jasalma neyron tarmaqlardı islep shıǵıw ushın kóbirek qayta islew quwatın támiyinledi.
1986 -jılda Rumelhart, Xinton hám Uilyams izbe-izlilikde keyingi sózdi boljawǵa uyretilganda, arqa tarqalıw sózlerdiń qızıqlı ishki kórinislerin ózgeshelik vektorları retinde úyrengenligin kórsetdi.
1988-jıldan baslap, neyron tarmaqlardan paydalanıw belok dúzilisin boljaw salasın ózgertirdi, birinshi kaskadli tarmaqlar bir neshe izbe-izliklerdi tegislew arqalı islep shıǵarılǵan profiller (matritsalar) boyınsha oqıtilganda.
Deformatsiyaga tolerantlik menen járdem beriw ushın max-pooling engizildi. Shmidxuber kóp dárejeli tarmaqlar ierarxiyasini qabılladı (1992) qadaǵalawsız úyreniw arqalı bir waqtıniń ózinde bir dáreje aldınan oqıtılǵan hám keyin basıp tarqalıw arqalı názik dúzilgen.
Neyron tarmaqlardıń dáslepki tabısları birja bazarın boljaw hám 1995-jılda (tiykarınan ) ózin ózi basqaratuǵın avtomobildi óz ishine aladı.
Geoffrey Xinton hám basqalar. (2006 ) hár bir qatlamdı modellestiriw ushın sheklengen BoltzmSNT mashinası . 2012-jılda Ng hám Dinge sıyınıw tek jarlıqsız suwretlerdi tamasha qılıw arqalı pıshıqlar sıyaqlı joqarı dárejedegi túsiniklerdi tán alıwdı úyrengen tarmaq jarattılar. Qadaǵalawsız aldınan oqıtıw hám GPU hám bólistirilgen esaplaw quwatınıń artpaqtası úlkenlew tarmaqlardan paydalanıwǵa múmkinshilik berdi, atap aytqanda, suwret hám vizual anıqlaw máselelerinde " tereń úyreniw " atı menen ataqlı boldı.
Ciresan jáne onıń kásiplesleri (2010 ) gradient mashqalasınıń joǵalıp ketiwine qaramay, GPOlar kóp qatlamlı aldınǵa ótiletuǵın neyron tarmaqlar ushın keyin basıp tarqalıwdı ámelge asırıw múmkinligin kórsetdi. 2009 hám 2012-jıllar aralıǵinda SNT suwretlerdi anıqlaw tańlawlarında bayraqlardı qolǵa kirita basladı, daslep naǵıstı anıqlaw hám qol jazıwın teńib alıw boyınsha túrli wazıypalarda insan dárejesindegi islewge jaqınlasdı. Graves, Alex; and Schmidhuber, Jürgen; Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks, ın Bengio, Jasua; Schuurmans, Dale; Lafferty, John; Williams, Chris K. I.; and Culotta, Aron (eds.), Advances ın Neural Information Processing Systems 22 (NIPS'22), 7-10 December 2009, vancouver, BC, Neural Information Processing Systems (NIPS) Foundation, 2009, pp. 545-552. 2009 -jılda uyreniletuǵın ush til haqqında aldınan maǵlıwmatqa iye bolmaǵan halda qol jazıwın bólew boyınsha ush tańlawda jeńimpaz shıqtı.
Ciresan jáne onıń kásiplesleri jol belgilerin teńib alıw (IJCNT 2012) sıyaqlı kriteryalarda insoNTing básekige shıdamlı/g'ayritabiiy islewine erisiw ushın birinshi úlgi tán alıwshılardı jarattılar.
Modeller