"Mashinali o’qitishga kirish"
Download 247.82 Kb. Pdf ko'rish
|
haydarov dilshodbek
1 “Mashinali o’qitishga kirish” fanidan “ Sunʼiy neyron tarmoqlari ” mavzusidan Mustaqil ish Bajardi 710/19-guruh Haydarov Dilshodbek 2 Sunʼiy neyron tarmoqlari Sunʼiy neyron tarmoqlari (SNT), odatda oddiygina neyron tarmoqlari (NT) deb ataladi, hayvonlar miyasini tashkil etuvchi biologik neyron tarmoqlardan ilhomlangan hisoblash tizimlari. SNT sunʼiy neyronlar deb ataladigan bogʻlangan birliklar yoki tugunlar toʻplamiga asoslanadi, ular biologik miyadagi neyronlarni erkin modellashtiradi. Sunʼiy neyron signallarni oladi, keyin ularni qayta ishlaydi va unga ulangan neyronlarga signal berishi mumkin. Ulanishdagi „signal“ haqiqiy raqam boʻlib, har bir neyroNTing chiqishi uning kirishlari yigʻindisining chiziqli boʻlmagan funksiyasi bilan hisoblanadi. Ulanishlar deyiladi qirralar. Neyronlar va chekkalar odatda oʻrganish davom etayotganda sozlanadigan vaznga ega. Neyronlar shunday chegaraga ega boʻlishi mumkinki, signal faqat yigʻilgan signal ushbu chegarani kesib oʻtgan taqdirdagina yuboriladi. Odatda, neyronlar qatlamlarga yigʻiladi. Signallar birinchi qatlamdan (kirish qatlami), oxirgi qatlamga (chiqish qatlami), ehtimol, qatlamlarni bir necha marta bosib oʻtgandan keyin oʻtadi. Trening[tahrir | manbasini tahrirlash] Neyron tarmoqlar misollarni qayta ishlash orqali oʻrganadi (yoki oʻqitiladi), ularning har biri maʼlum „kirish“ va „natija“ ni oʻz ichiga oladi va ular oʻrtasida ehtimollik bilan oʻlchangan assotsiatsiyalarni hosil qiladi, ular tarmoqning oʻzida saqlanadigan maʼlumotlar tuzilmasida saqlanadi. Berilgan misol boʻyicha neyron tarmoqni oʻrgatish odatda tarmoqning qayta ishlangan chiqishi (koʻpincha bashorat) va maqsadli chiqishi oʻrtasidagi farqni aniqlash orqali amalga oshiriladi. Keyin tarmoq oʻz vaznli assotsiatsiyalarini oʻrganish qoidasiga koʻra va ushbu xato qiymatidan foydalanib sozlaydi. Ushbu tuzatishlarning etarli sonidan soʻng, mashgʻulot muayyan mezonlar asosida toʻxtatilishi mumkin. Bunday tizimlar misollarni koʻrib chiqish orqali topshiriqlarni bajarishni „oʻrganadi“, odatda vazifaga xos qoidalar bilan dasturlashtirilmaydi. Masalan, tasvirni aniqlashda ular „mushuk“ yoki „mushuk yoʻq“ deb qoʻlda yorliqlangan misol tasvirlarni tahlil qilish va 3 boshqa tasvirlardagi mushuklarni aniqlash uchun natijalardan foydalanish orqali mushuklar bor tasvirlarni aniqlashni oʻrganishi mumkin. Tarix[tahrir | manbasini tahrirlash] Uorren Makkallok va Uolter Pits(1943) neyron tarmoqlar uchun hisoblash modelini yaratish orqali mavzuni ochdilar. 1940-yillarning oxirida DO Hebb [2] neyron plastisiya mexanizmiga asoslangan taʼlim gipotezasini yaratdi, u Hebbian oʻrganish nomi bilan mashhur boʻldi. Farley va Uesli A. Klark [3] (1954) Hebbian tarmogʻini simulyatsiya qilish uchun dastlab hisoblash mashinalaridan foydalangan. 1958-yilda psixolog Frenk Rozenblat Amerika Qoʻshma Shtatlari Dengiz tadqiqotlari boshqarmasi tomonidan moliyalashtirilgan birinchi sunʼiy neyron tarmogʻi boʻlgan perseptroNTi ixtiro qildi. [8] Koʻp qatlamli birinchi funktsional tarmoqlar 1965-yilda Ivaxnenko va Lapa tomonidan Maʼlumotlar bilan ishlashning guruh usuli sifatida nashr etilgan. Uzluksiz orqaga tarqalish asoslari boshqaruv nazariyasi kontekstida 1960-yilda Kelli [ va 1961-yilda Brayson [16] tomonidan dinamik dasturlash tamoyillaridan foydalangan holda olingan. Keyinchalik tadqiqot Minsky va Papert (1969) dan soʻng toʻxtab qoldi, ular asosiy [17] . 1970-yilda Seppo LiNTainmaa ichki differensiallanuvchi funksiyalarning diskret ulangan tarmoqlarini avtomatik farqlashning umumiy usulini (AD) nashr etdi. [18] 1973-yilda Dreyfus boshqaruvchilar parametrlarini xato gradientlariga mutanosib ravishda moslashtirish uchun orqaga tarqalish usulidan foydalangan. [19] 1982- yilda u LiNTainmaaning AD usulini neyron tarmoqlarga keng qoʻllanilgan usulda qoʻlladi. [12][20] Bu 1980-yillarda amaliy sunʼiy neyron tarmoqlarni ishlab chiqish uchun koʻproq ishlov berish quvvatini taʼminladi. [21] 1986-yilda Rumelhart, Xinton va Uilyams ketma-ketlikda keyingi soʻzni bashorat qilishga oʻrgatilganda, orqa tarqalish soʻzlarning qiziqarli ichki koʻrinishlarini xususiyat vektorlari sifatida oʻrganganligini koʻrsatdi. [22] 1988-yildan boshlab, [23][24] neyron tarmoqlardan foydalanish oqsil tuzilishini bashorat qilish sohasini oʻzgartirdi, birinchi kaskadli 4 tarmoqlar bir nechta ketma-ketliklarni tekislash orqali ishlab chiqarilgan profillar (matritsalar) boʻyicha oʻqitilganda. [25] Deformatsiyaga tolerantlik bilan yordam berish uchun max-pooling joriy etildi. [26][27][28] Shmidxuber koʻp darajali tarmoqlar ierarxiyasini qabul qildi (1992) nazoratsiz oʻrganish orqali bir vaqtning oʻzida bir daraja oldindan oʻqitilgan va orqaga tarqalish orqali nozik sozlangan. [29] Neyron tarmoqlarning dastlabki muvaffaqiyatlari birja bozorini bashorat qilish va 1995-yilda (asosan) oʻzini oʻzi boshqaradigan avtomobilni oʻz ichiga oladi. [30] Geoffrey Xinton va boshqalar. (2006) har bir qatlamni modellashtirish uchun cheklangan BoltzmSNT mashinasi [31] . 2012-yilda Ng va Din faqat yorliqsiz tasvirlarni tomosha qilish orqali mushuklar kabi yuqori darajadagi tushunchalarni tan olishni oʻrgangan tarmoq yaratdilar. [32] Nazoratsiz oldindan oʻqitish va GPU va taqsimlangan hisoblash quvvatining ortishi kattaroq tarmoqlardan foydalanishga imkon berdi, xususan, tasvir va vizual aniqlash muammolarida " chuqur oʻrganish " nomi bilan mashhur boʻldi. [33] Ciresan va uning hamkasblari (2010) [34] gradient muammosining yoʻqolishiga qaramay, GPUlar koʻp qatlamli oldinga oʻtiladigan neyron tarmoqlar uchun orqaga tarqalishni amalga oshirish mumkinligini koʻrsatdi. 2009 va 2012-yillar oraligʻida SNT tasvirlarni aniqlash tanlovlarida sovrinlarni qoʻlga kirita boshladi, dastlab naqshni aniqlash va qoʻl yozuvini tanib olish boʻyicha turli vazifalarda inson darajasidagi ishlashga yaqinlashdi. [35] Graves, Alex; and Schmidhuber, Jürgen; Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks, in Bengio, Yoshua; Schuurmans, Dale; Lafferty, John; Williams, Chris K. I.; and Culotta, Aron (eds.), Advances in Neural Information Processing Systems 22 (NIPS’22), 7-10 December 2009, Vancouver, BC, Neural Information Processing Systems (NIPS) Foundation, 2009, pp. 545- 552. [36][37][38] .2009-yilda oʻrganiladigan uchta til haqida oldindan maʼlumotga ega boʻlmagan holda qoʻl yozuvini bogʻlash boʻyicha uchta tanlovda gʻolib chiqdi. [37][36] Ciresan va uning hamkasblari yoʻl belgilarini tanib olish(IJCNT 2012) kabi mezonlarda insoNTing raqobatbardosh/gʻayritabiiy 5 ishlashiga [39] erishish uchun birinchi namuna tan oluvchilarni yaratdilar. SNT anʼanaviy algoritmlar unchalik muvaffaqiyatli boʻlmagan vazifalarni bajarish uchun inson miyasining arxitekturasidan foydalanishga urinish sifatida boshlandi. Neyronlar bir-biri bilan turli naqshlarda bogʻlangan, bu baʼzi neyronlarning chiqishi boshqalarning kirishiga aylanishiga imkon beradi. Tarmoq yoʻnaltirilgan, vaznli grafik hosil qiladi. Sunʼiy neyron tarmogʻi simulyatsiya qilingan neyronlar toʻplamidan iborat.Har bir neyron boshqa tugunlarga biologik mos keladigan bogʻlanishlar orqali bogʻlangan tugundir.Har bir boʻgʻiNTing vazni bor, bu bir tuguNTing boshqasiga taʼsir kuchini belgilaydi. Sunʼiy neyronlar[tahrir | manbasini tahrirlash] SNT kontseptual ravishda biologik neyronlardan olingan sunʼiy neyronlardan iborat. Har bir sunʼiy neyron kirishga ega va bir nechta boshqa neyronlarga yuborilishi mumkin boʻlgan bitta chiqishni ishlab chiqaradi. [42] Kirishlar tasvirlar yoki hujjatlar kabi tashqi maʼlumotlar namunasining xususiyat qiymatlari boʻlishi mumkin yoki ular boshqa neyronlarning chiqishi boʻlishi mumkin. 6 NeyroNTing chiqishini topish uchun, avvalo, kirishlardan neyronga boʻlgan ulanishlar ogʻirligi bilan oʻlchangan barcha kirishlarning vaznli yigʻindisini olishimiz kerak. Biz bu summaga noaniq atama qoʻshamiz. [43] Ushbu vaznli summa baʼzan faollashtirish deb ataladi.Dastlabki maʼlumotlar tasvirlar va hujjatlar kabi tashqi maʼlumotlardir. Yakuniy natijalar tasvirdagi ob’ektni tanib olish kabi vazifani bajaradi. [44] Neyronlar odatda bir nechta qatlamlarga, ayniqsa chuqur oʻrganishda tashkil etilgan.Neyronlari faqat oldingi va keyingi qatlamlarning neyronlari bilan bogʻlanadi. Yakuniy natijani beradigan qatlam chiqish qatlamidir.Ular birlashma boʻlishi mumkin, bu erda bir qatlamdagi neyronlar guruhi keyingi qatlamdagi bitta neyronga ulanadi va shu bilan bu qatlamdagi neyronlar sonini kamaytiradi. [45] Faqatgina shunday ulanishga ega boʻlgan neyronlar yoʻnaltirilgan asiklik grafikni hosil qiladi va oldinga besleme tarmoqlari sifatida tanilgan. [46] Shu bilan bir qatorda, bir xil yoki oldingi qatlamlardagi neyronlar oʻrtasida ulanishga imkon beruvchi tarmoqlar takroriy tarmoqlar deb nomlanadi Giperparametr[tahrir | manbasini tahrirlash] Giperparametr doimiy parametr boʻlib, uning qiymati oʻquv jarayoni boshlanishidan oldin oʻrnatiladi. Parametrlarning qiymatlari oʻrganish orqali olinadi. Giperparametrlarga oʻrganish tezligi, yashirin qatlamlar soni va partiya hajmi kiradi. [48] Baʼzi giperparametrlarning qiymatlari boshqa giperparametrlarnikiga bogʻliq boʻlishi mumkin. Oʻrganish[tahrir | manbasini tahrirlash] Oʻrganish — bu namunaviy kuzatishlarni hisobga olgan holda vazifani yaxshiroq hal qilish uchun tarmoqni moslashtirish. Oʻrganish natijaning aniqligini oshirish uchun tarmoqning ogʻirliklarini (va ixtiyoriy chegaralarni) sozlashni oʻz ichiga oladi. Qoʻshimcha kuzatishlarni oʻrganayotganda oʻrganish tugallangan boʻlib, xatolik darajasini kamaytirmaydi. Agar oʻrganganingizdan soʻng, xato darajasi juda yuqori boʻlsa, tarmoq odatda qayta ishlab chiqilishi kerak. Amalda bu oʻrganish davomida davriy ravishda baholanadigan xarajat funksiyasini aniqlash orqali amalga oshiriladi. Xarajat koʻpincha statistik maʼlumot 7 sifatida aniqlanadi, uning qiymati faqat taxminiy baholanishi mumkin. Chiqishlar aslida raqamlardir, shuning uchun xatolik past boʻlsa, chiqish (deyarli mushuk) va toʻgʻri javob (mushuk) oʻrtasidagi farq kichik boʻladi. Koʻpgina oʻrganish modellarini optimallashtirish nazariyasi va statistik baholashning toʻgʻridan-toʻgʻri qoʻllanilishi sifatida koʻrish mumkin. [49][40] Oʻrganish darajasi[tahrir | manbasini tahrirlash] Oʻrganish tezligi modelning har bir kuzatishdagi xatolarni tuzatish uchun koʻrsatadigan tuzatish qadamlari hajmini belgilaydi. [50] Yuqori oʻrganish tezligi mashgʻulot vaqtini qisqartiradi, ammo past aniqlik bilan, pastroq oʻrganish koʻproq vaqt talab etadi, lekin aniqroq boʻlishi mumkin. Quickprop kabi optimallashtirishlar, birinchi navbatda, xatolarni minimallashtirishni tezlashtirishga qaratilgan boʻlsa, boshqa yaxshilanishlar asosan ishonchlilikni oshirishga harakat qiladi. Tarmoq ichidagi tebranishlarni, masalan, ulanish ogʻirliklarining oʻzgarishini oldini olish va konvergentsiya tezligini yaxshilash uchun takomillashtirish moslashtirilgan oʻrganish tezligidan foydalanadi, bu mos ravishda oshiradi yoki kamayadi. [51] 0 ga yaqin momentum gradientni taʼkidlaydi, 1 ga yaqin qiymat esa oxirgi oʻzgarishlarni taʼkidlaydi. Narx funksiyasi[tahrir | manbasini tahrirlash] Xarajat funksiyasini ad hoc aniqlash mumkin boʻlsa-da, koʻpincha tanlov funksiyaning kerakli xususiyatlari (masalan, qavariqlik) yoki modeldan kelib chiqqanligi sababli aniqlanadi (ehtimollik modelida modelning orqa ehtimoli teskari sifatida ishlatilishi mumkin). Orqaga tarqalish[tahrir | manbasini tahrirlash] Orqa tarqalish — bu oʻrganish jarayonida aniqlangan har bir xatoni qoplash uchun ulanish ogʻirliklarini sozlash uchun ishlatiladigan usul. Ogʻirlikni yangilash stokastik gradient tushishi yoki boshqa usullar orqali amalga oshirilishi mumkin, masalan, Extreme Learning Machines, [52] „No-prop“ tarmoqlari, [53] orqaga yoʻl qoʻymasdan mashq qilish, [54] „vaznsiz“ tarmoqlar, [55][56] ] [56] va koNTektsionist boʻlmagan neyron tarmoqlar. 8 Paradigmalarni oʻrganish[tahrir | manbasini tahrirlash] Uchta asosiy taʼlim paradigmalari nazorat ostida oʻrganish, nazoratsiz oʻrganish va mustahkamlovchi oʻrganishdir. Ularning har biri maʼlum bir oʻquv vazifasiga mos keladi Nazorat ostida oʻrganish[tahrir | manbasini tahrirlash] Nazorat ostidagi oʻrganish juftlashtirilgan kirishlar va kerakli natijalar toʻplamidan foydalanadi..Bu holda xarajat funksiyasi notoʻgʻri ajratmalarni bartaraf etish bilan bogʻliq. [57] Keng tarqalgan ishlatiladigan xarajat oʻrtacha kvadrat xato boʻlib, u tarmoqning chiqishi va kerakli natija oʻrtasidagi oʻrtacha kvadrat xatoni minimallashtirishga harakat qiladi. Nazorat ostida oʻrganish uchun mos boʻlgan vazifalar naqshni aniqlash (klassifikatsiya deb ham ataladi) va regressiya (funksiyani yaqinlashish deb ham ataladi) hisoblanadi. Nazorat ostida oʻrganish ketma-ket maʼlumotlarga ham tegishli (masalan, qoʻlda yozish, nutq va imo- ishoralarni aniqlash uchun). Nazoratsiz oʻrganish[tahrir | manbasini tahrirlash] Xarajatlar funksiyasi vazifaga (model sohasi) va har qanday apriori taxminlarga (modelning yashirin xususiyatlari, uning parametrlari va kuzatilgan oʻzgaruvchilar) bogʻliq. Arzimas misol sifatida modelni koʻrib chiqing qayerda doimiy va xarajat hisoblanadi . Xarajat funksiyasi ancha murakkab boʻlishi mumkin. Uning shakli qoʻllanilishiga bogʻliq: masalan, siqishda u oʻrtasidagi oʻzaro maʼlumot bilan bogʻliq boʻlishi mumkin va , holbuki, statistik modellashtirishda bu maʼlumotlar berilgan modelning posterior ehtimoli bilan bogʻliq boʻlishi mumkin (esda tutingki, bu ikkala misolda ham bu miqdorlar minimallashtirilgan emas, balki maksimallashtiriladi). Oʻrganishni mustahkamlash[tahrir | manbasini tahrirlash] Video oʻyinlarni oʻynash kabi ilovalarda aktyor bir qator harakatlarni amalga oshiradi va har biridan keyin atrof-muhitdan umuman oldindan aytib boʻlmaydigan javob oladi. Oʻqitishni mustahkamlashda maqsad uzoq muddatli (kutilgan yigʻilgan) xarajatlarni minimallashtiradigan harakatlarni amalga oshirish uchun tarmoqni tortish (siyosatni ishlab chiqish) hisoblanadi. Vaqtning har bir nuqtasida agent biror harakatni amalga oshiradi va atrof-muhit baʼzi (odatda nomaʼlum) qoidalarga 9 koʻra kuzatuv va bir lahzalik xarajatlarni keltirib chiqaradi. Har qanday vaziyatda agent xarajatlarni aniqlash uchun yangi harakatlarni oʻrganish yoki tezroq davom etish uchun oldingi oʻrganishdan foydalanishga qaror qiladi. Rasmiy ravishda atrof-muhit davlatlar bilan Markov qaror jarayoni (MDP) sifatida modellashtirilgan va harakatlar . Holatga oʻtishlar nomaʼlum boʻlgani uchun uning oʻrniga ehtimollik taqsimotlari qoʻllaniladi: lahzali xarajatlar taqsimoti , kuzatish taqsimoti va oʻtish taqsimoti , siyosat esa kuzatishlar berilgan harakatlar boʻyicha shartli taqsimlash sifatida belgilanadi. SNT bunday ilovalarda oʻrganish komponenti boʻlib xizmat qiladi. SNT bilan birgalikda dinamik dasturlash (neyrodinamik dasturlash)SNT qobiliyati tufayli transport vositalarini marshrutlash, video oʻyinlar, tabiiy resurslarni boshqarish va tibbiyot kabi muammolarga qoʻllanilgan. nazorat masalalarini echish uchun sonli yaqinlashish uchun diskretizatsiya tarmogʻining zichligini kamaytirishda ham aniqlik yoʻqotilishini kamaytirish. Oʻz-oʻzini oʻrganish[tahrir | manbasini tahrirlash] Neyron tarmoqlarda oʻz-oʻzini oʻrganish 1982-yilda Crossbar Adaptive Array (CAA) deb nomlangan oʻz-oʻzini oʻrganishga qodir neyron tarmogʻi bilan birga kiritilgan. [65] Bu faqat bitta kirish, vaziyat s va faqat bitta chiqish, harakat (yoki xatti-harakatlar) boʻlgan tizimdir. Unda na tashqi maslahat kiritish, na atrof-muhitdan tashqi mustahkamlash kiritish mavjud. Tizim idrok va hissiyot oʻrtasidagi oʻzaro taʼsir orqali boshqariladi. [66] Xotira matritsasi W =||w(a, s)|| ni hisobga olgan holda, har bir iteratsiyada oʻzaro bogʻliqlikni oʻz-oʻzidan oʻrganish algoritmi quyidagi hisoblashni amalga oshiradi: In situation s perform action a; Receive consequence situation s'; Compute emotion of being in consequence situation v(s'); Update crossbar memory w'(a,s) = w(a,s) + v(s'). CAA ikkita muhitda mavjud boʻlib, biri oʻzini tutadigan xulq-atvor muhiti va ikkinchisi genetik muhit boʻlib, u erdan dastlab va faqat bir 10 marta xulq-atvor muhitida duch keladigan vaziyatlar haqida dastlabki his-tuygʻularni oladi. Genetik muhitdan genom vektorini (turlar vektorini) olgandan soʻng, CAA kerakli va nomaqbul vaziyatlarni oʻz ichiga olgan xulq-atvor muhitida maqsadga intiladigan xatti-harakatni oʻrganadi. Neyroevolyutsiya[tahrir | manbasini tahrirlash] Neyroevolyutsiya evolyutsion hisoblash yordamida neyron tarmoq topologiyalari va ogʻirliklarini yaratishi mumkin. Neyroevolyutsiyaning afzalliklaridan biri shundaki, u „oʻlik nuqtalar“ ga tushib qolishga kamroq moyil boʻlishi mumkin. Stokastik neyron tarmogʻi[tahrir | manbasini tahrirlash] Sherrington-Kirkpatrik modellaridan kelib chiqqan stoxastik neyron tarmoqlar tarmoqqa tasodifiy oʻzgarishlar kiritish yoki tarmoqning sunʼiy neyronlariga stokastik uzatish funksiyalarini, berish yoki ularga stokastik ogʻirliklar berish orqali qurilgan sunʼiy neyron tarmoq turidir.Bu ularni optimallashtirish muammolari uchun foydali vositalarga aylantiradi, chunki tasodifiy tebranishlar tarmoqni mahalliy minimaldan qochishga yordam beradi. [68] Boshqa[tahrir | manbasini tahrirlash] Evolyutsion usullar, [69] gen ifodasini dasturlash, [70] simulyatsiya qilingan tavlanish, [71] kutish-maksimizatsiya, parametrik boʻlmagan usullar va zarrachalar toʻdasini optimallashtirish [72] boshqa oʻrganish algoritmlaridir. Konvergent rekursiya — serebellar model artikulyatsiya boshqaruvchisi (CMAC) neyron tarmoqlarini oʻrganish algoritmi. Tartiblar[tahrir | manbasini tahrirlash] Oʻrganishning ikkita usuli mavjud: stokastik va ommaviy. Stokastik oʻrganishda har bir kiritish vazNTi sozlashni yaratadi. Toʻplamda oʻrganish ogʻirliklari partiya boʻyicha xatolar toʻplanib, kirishlar partiyasi asosida oʻrnatiladi. Biroq, toʻplamli oʻrganish odatda mahalliy minimal darajaga tezroq va barqaror pasayish imkonini beradi, chunki har bir yangilash partiyaning oʻrtacha xatosi yoʻnalishi boʻyicha amalga oshiriladi. Umumiy kelishuv „mini-partiyalar“ dan, har bir partiyadagi namunalar bilan butun maʼlumotlar toʻplamidan stokastik tarzda tanlangan kichik partiyalardan foydalanishdir. Download 247.82 Kb. Do'stlaringiz bilan baham: |
Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©fayllar.org 2024
ma'muriyatiga murojaat qiling
ma'muriyatiga murojaat qiling