Innovatsiyalar vazirligi mirzo ulugʻbek nomidagi oʻzbekiston milliy universitetining jizzax

Umumiy koʻrinish
Ko‘pgina zamonaviy chuqur o‘rganish modellari sun’iy neyron tarmoqlarga , xususan konvolyutsion neyron tarmoqlarga (CNN) asoslangan , ammo ular chuqur e’tiqod tarmoqlaridagi tugunlar va chuqur Boltsmann kabi chuqur generativ modellarda qatlam bo‘yicha tashkil etilgan taklif formulalari yoki yashirin o‘zgaruvchilarni o‘z ichiga olishi mumkin. Mashinalari.Chuqur o‘rganishda har bir daraja o‘zining kiritilgan ma’lumotlarini biroz mavhumroq va kompozitsion tasvirga aylantirishni o‘rganadi. Tasvirni aniqlash ilovasida xom ashyo piksellar matritsasi bo‘lishi mumkin; birinchi vakillik qatlami piksellarni mavhumlashtirishi va qirralarni kodlashi mumkin; ikkinchi qatlam qirralarning tartibini tuzishi va kodlashi mumkin; uchinchi qatlam burun va ko‘zni kodlashi mumkin; va to‘rtinchi qatlam tasvirda yuz borligini tan olishi mumkin. Muhimi, chuqur o‘rganish jarayoni o‘z-o‘zidan qaysi xususiyatlarni qaysi darajaga optimal tarzda joylashtirishni o‘rganishi mumkin . Bu qo‘lda sozlash zaruratini bartaraf etmaydi; masalan, qatlamlarning turli soni va qatlam o‘lchamlari turli darajadagi abstraktsiyani ta’minlashi mumkin. “Chuqur o‘rganish”dagi “chuqur” so‘zi ma’lumotlar o‘zgartiriladigan qatlamlar sonini bildiradi. Aniqrog'i, chuqur o‘rganish tizimlari sezilarli kredit tayinlash yo‘li (CAP) chuqurligiga ega. CAP - kirishdan chiqishgacha bo‘lgan o‘zgarishlar zanjiri. CAPlar kirish va chiqish o‘rtasidagi potentsial sababiy bog'lanishlarni tavsiflaydi. Oldinga yo‘naltirilgan neyron tarmog'i uchun CAPlarning chuqurligi tarmoqning chuqurligi va yashirin qatlamlar soni va bittadan iborat (chunki chiqish qatlami ham parametrlangan). Signal qatlam orqali bir necha marta tarqalishi mumkin bo‘lgan takrorlanuvchi neyron tarmoqlar uchun CAP chuqurligi potentsial cheksizdir.Hech bir umumiy qabul qilingan chuqurlik chegarasi sayoz o‘rganishni chuqur o‘rganishdan ajratmaydi, biroq ko‘pchilik tadqiqotchilar chuqur o‘rganish 2 dan yuqori bo‘lgan CAP chuqurligini o‘z ichiga oladi degan fikrga qo‘shiladi. 2 chuqurlikdagi CAP har qanday funktsiyaga taqlid qilishi mumkin bo‘lgan universal yaqinlashuvchi ekanligi ko‘rsatilgan. Bundan tashqari, ko‘proq qatlamlar tarmoqning funksiyani yaqinlashtirish qobiliyatiga qo‘shilmaydi. Chuqur modellar (CAP > 2) sayoz modellarga qaraganda yaxshiroq xususiyatlarni ajratib olishga qodir va shuning uchun qo‘shimcha qatlamlar xususiyatlarni samarali o‘rganishga yordam beradi.
Chuqur o‘rganish arxitekturasini ochko‘z qatlam-qatlam usuli bilan qurish mumkin.Chuqur oʻrganish ushbu mavhumliklarni ajratib olishga va qaysi xususiyatlar unumdorlikni oshirishga yordam beradi.Nazorat ostidagi o‘quv vazifalari uchun chuqur o‘rganish usullari ma’lumotlarni asosiy komponentlarga o‘xshash ixcham oraliq tasvirlarga aylantirish orqali xususiyat muhandisligini yo‘q qiladi va vakillikdagi ortiqchalikni bartaraf etadigan qatlamli tuzilmalarni keltirib chiqaradi.
Chuqur o‘rganish algoritmlari nazoratsiz o‘quv vazifalariga qo‘llanilishi mumkin. Bu muhim afzallik, chunki etiketlanmagan ma’lumotlar belgilangan ma’lumotlarga qaraganda ko‘proq. Nazoratsiz tarzda o‘qitilishi mumkin bo‘lgan chuqur tuzilmalarga chuqur e’tiqod tarmoqlari misol bo‘la oladi.
Chuqur neyron tarmoqlar odatda universal yaqinlashish teoremasi yoki ehtimollik xulosasi nuqtai nazaridan talqin qilinadi .
Klassik universal yaqinlashish teoremasi uzluksiz funktsiyalarni taxmin qilish uchun chekli o‘lchamdagi yagona yashirin qatlamli oldinga yo‘naltirilgan neyron tarmoqlarining imkoniyatlariga tegishli . 1989 yilda birinchi dalil Jorj Cybenko tomonidan sigmasimon faollashuv funksiyalari tomonidan nashr etilgan va 1991 yilda Kurt Hornik tomonidan koʻp qatlamli arxitekturalarni oldinga uzatish uchun umumlashtirilgan. Yaqinda olib borilgan ishlar shuni ko‘rsatdiki, universal yaqinlashish rektifikatsiya qilingan chiziqli birlik kabi chegaralanmagan faollashtirish funktsiyalari uchun ham amal qiladi.
Chuqur neyron tarmoqlar uchun universal yaqinlashish teoremasi chegaralangan kengligi bo‘lgan tarmoqlarning sig'imiga taalluqlidir, ammo chuqurlikning o‘sishiga ruxsat beriladi. Lu va boshqalar isbotladiki, agar ReLU faollashtirilgan chuqur neyron tarmog'ining kengligi kirish o‘lchamidan qat'iy kattaroq bo‘lsa, u holda tarmoq har qanday Lebesgue integrallashuvchi funksiyasini yaqinlashtirishi mumkin.Agar kenglik kirish o‘lchamidan kichikroq yoki teng bo‘lsa, u holda chuqur neyron tarmoq universal yaqinlashuvchi emas.Ehtimoliy talqin mashinani o‘rganish sohasidan kelib chiqadi . Unda xulosalar, shuningdek mos ravishda moslashtirish va umumlashtirish bilan bogʻliq boʻlgan oʻqitish va sinovdan oʻtkazishni optimallashtirish tushunchalari mavjud . Aniqroq qilib aytganda, ehtimollik talqini faollashuvning nochiziqliligini kümülatif taqsimot funktsiyasi sifatida ko‘rib chiqadi .talqin, maktabni tark etishni tartibga soluvchi sifatida kiritilishiga olib keldineyron tarmoqlarda. Ehtimoliy talqin tadqiqotchilar, jumladan Xopfild , Vidrou va Narendra tomonidan kiritilgan va Bishop tomonidan o‘tkazilgan so‘rovlarda ommalashgan .Ba’zi manbalar ta’kidlashicha, Frank Rosenblatt bugungi kundagi chuqur o‘rganish tizimlarining barcha asosiy tarkibiy qismlarini ishlab chiqqan va o‘rgangan. U buni 1962 yilda Kornell universiteti tomonidan nashr etilgan "Neyrodinamika tamoyillari: Perseptronlar va miya mexanizmlari nazariyasi" kitobida tasvirlab bergan.
Nazorat ostidagi, chuqur, oldinga yoʻnaltirilgan, koʻp qatlamli perseptronlar uchun birinchi umumiy, ishlaydigan oʻrganish algoritmi 1967 yilda Aleksey Ivaxnenko va Lapa tomonidan nashr etilgan. 1971-yilda chop etilgan maqolada maʼlumotlarni qayta ishlashning guruh usulida oʻqitilgan sakkiz qatlamli chuqur tarmoq tasvirlangan .Boshqa chuqur oʻrganish ishchi arxitekturalari, xususan, kompyuterni koʻrish uchun yaratilganlar 1980-yilda Kunixiko Fukusima tomonidan taqdim etilgan Neokognitron bilan boshlangan.
Chuqur o‘rganish atamasi mashinani o‘rganish hamjamiyatiga 1986 yilda Rina Dechter va sun’iy neyron tarmoqlarga Igor Aizenberg va uning hamkasblari tomonidan 2000 yilda Boolean chegara neyronlari kontekstida kiritilgan.
1989 yilda Yann LeCun va boshqalar. 1970 yildan beri avtomatik farqlashning teskari rejimi sifatida mavjud bo‘lgan standart orqaga tarqalish algoritmini pochtada qo‘lda yozilgan pochta kodlarini tanib olish maqsadida chuqur neyron tarmoqqa qo‘llagan. Algoritm ishlaganda, mashg'ulotlar 3 kunni talab qildi.
1988 yilda mustaqil ravishda Wei Zhang va boshqalar. alifbolarni tanib olish uchun konvolyutsion neyron tarmog'iga (faqat tasvir xususiyati qatlamlari va oxirgi to‘liq bog'langan qatlam o‘rtasidagi konvolyutsion o‘zaro bog'lanishlarni saqlagan holda soddalashtirilgan Neokognitron) orqaga tarqalish algoritmini qo‘lladi va shuningdek, CNNni optik hisoblash tizimi bilan amalga oshirishni taklif qildi. Keyinchalik, Vey Chjan va boshqalar. so‘nggi to‘liq bog'langan qatlamni olib tashlash orqali modelni o‘zgartirdi va uni 1991 yilda tibbiy tasvir ob'ektini segmentatsiyalash uchun va 1994 yilda mamogrammalarda ko‘krak saratonini aniqlash uchun qo‘lladi.1994 yilda Andre de Karvalyo Mayk Feyrxerst va Devid Bisset bilan birgalikda 3 qatlamli o‘z-o‘zini tashkil etuvchi xususiyatlarni ajratib olish neyron tarmog'i modulidan tashkil topgan, vaznsiz neyron tarmog'i deb ham ataladigan ko‘p qatlamli mantiqiy neyron tarmog'ining eksperimental natijalarini nashr etdi. SOFT) keyin mustaqil ravishda o‘qitilgan ko‘p qatlamli neyron tarmoq moduli (GSN) tasnifi. Xususiyatlarni chiqarish modulidagi har bir qatlam oldingi qatlamga nisbatan o‘sib borayotgan murakkablik bilan xususiyatlarni ajratib oldi. 1995 yilda Brendan Frey Piter Dayan va Xinton bilan hamkorlikda ishlab chiqilgan uyg'onish algoritmidan foydalangan holda oltita to‘liq bog'langan qatlam va bir necha yuzlab yashirin bloklarni o‘z ichiga olgan tarmoqni (ikki kundan ortiq) o‘rgatish mumkinligini ko‘rsatdi .Tezlikning sekinlashishiga ko‘plab omillar yordam beradi, jumladan, 1991 yilda Sepp Xokrayter tomonidan tahlil qilingan yo‘qolib borayotgan gradient muammosi oldinga ierarxik konvolyutsion yondashuvni lateral va orqaga bog'lanishlar orqali qarorlarga kontekstni moslashuvchan tarzda kiritish va mahalliy noaniqliklarni takroriy hal qilish uchun kengaytirdi.
1990 va 2000-yillarda Gabor filtrlari va vektorli mashinalarni (SVM) qo‘llab-quvvatlaydigan vazifa uchun maxsus qo‘lda ishlangan xususiyatlardan foydalanadigan sodda modellar , chunki sun’iy neyron tarmog'ining (ANN) hisoblash narxi va uni qanday ishlashini tushunmaslik tufayli mashhur bo‘lgan. miya o‘zining biologik tarmoqlarini o‘tkazadi.
ANNni sayoz va chuqur o‘rganish (masalan, takroriy tarmoqlar) ko‘p yillar davomida o‘rganilgan. Bu usullar hech qachon bir xil boʻlmagan ichki qoʻl mehnati Gauss aralashmasi modelidan / Yashirin Markov modeli (GMM-HMM) texnologiyasidan, diskriminativ tarzda oʻrgatilgan nutqning generativ modellariga asoslangan. va neyron bashoratli modellarda zaif vaqtinchalik korrelyatsiya tuzilishi tahlil qilindi. Qo‘shimcha qiyinchiliklar o‘quv ma’lumotlarining etishmasligi va cheklangan hisoblash quvvati edi. Nutqni aniqlash bo‘yicha tadqiqotchilarning aksariyati generativ modellashtirishga kirishish uchun neyron tarmoqlardan uzoqlashishdi. 1990-yillarning oxirida SRI Internationalda istisno bo‘lgan. AQSh hukumatining NSA va DARPA tomonidan moliyalashtirilgan SRI nutq va ma’ruzachini aniqlashda chuqur neyron tarmoqlarni o‘rgandi . Larri Xek boshchiligidagi ma’ruzachilarni tan olish bo‘yicha guruh 1998 yilda Milliy Standartlar va Texnologiyalar Institutida nutqni qayta ishlashda chuqur neyron tarmoqlar bilan sezilarli muvaffaqiyatlar haqida xabar berdi . Keyinchalik SRI chuqur neyron tarmog'i chuqur o‘rganishning birinchi yirik sanoat dasturini ifodalovchi Nuance Verifier-da o‘rnatildi.
"Xom" xususiyatlarni qo‘lda ishlab chiqarilgan optimallashtirishdan ko‘ra ko‘tarish printsipi birinchi bo‘lib 1990-yillarning oxirida "xom" spektrogramma yoki chiziqli filtr-bank xususiyatlarida chuqur avtokoder arxitekturasida muvaffaqiyatli o‘rganildi , bu uning Mel-dan ustunligini ko‘rsatdi . Spektrogrammalardan qat'iy o‘zgarish bosqichlarini o‘z ichiga olgan tseptral xususiyatlar. Nutqning xom xususiyatlari, to‘lqin shakllari , keyinchalik katta hajmdagi ajoyib natijalarni berdi.
Nutqni tanib olishning koʻp jihatlari 1997-yilda Hochreiter va Shmidxuber tomonidan chop etilgan takrorlanuvchi neyron tarmogʻi boʻlgan uzoq qisqa muddatli xotira (LSTM) deb nomlangan chuqur oʻrganish usuli bilan qabul qilingan. LSTM RNNlar yoʻqolib borayotgan gradient muammosidan qochadi va “Juda Chuqur o‘rganish" vazifalari , bu nutq uchun muhim bo‘lgan minglab diskret vaqt qadamlari oldin sodir bo‘lgan voqealarni xotirada saqlashni talab qiladi. 2003 yilda LSTM ma’lum vazifalar bo‘yicha an’anaviy nutq tan oluvchilar bilan raqobatlasha boshladi. Keyinchalik u LSTM RNN steklarida ulanish vaqtinchalik tasnifi (CTC) bilan birlashtirildi . 2015-yilda Google-ning nutqni aniqlash qobiliyati CTC tomonidan o‘qitilgan LSTM orqali 49% ga keskin o‘sganligi haqida xabar berilgan edi, ular Google Voice Search orqali taqdim etdi .
2006 yilda Geoff Xinton , Ruslan Salahutdinov , Osindero va Teh nashrlari ko‘p qatlamli oldinga uzatiladigan neyron tarmog'ini qanday qilib bir vaqtning o‘zida bir qatlamni samarali tarzda oldindan o‘rgatish va har bir qatlamni o‘z navbatida ko‘rib chiqish mumkinligini ko‘rsatdi. nazoratsiz cheklangan Boltzmann mashinasi , keyin uni nazorat ostida orqaga tarqalish yordamida nozik sozlash . Maqolalar chuqur e’tiqod tarmoqlarini o‘rganishga ishora qilgan .Chuqur o‘rganish turli fanlar, xususan, kompyuterda ko‘rish va avtomatik nutqni aniqlash (ASR) bo‘yicha eng zamonaviy tizimlarning bir qismidir . TIMIT (ASR) va MNIST ( tasvir tasnifi ) kabi keng qoʻllaniladigan baholash toʻplamlari , shuningdek, katta lugʻatli nutqni aniqlash boʻyicha bir qator vazifalar boʻyicha natijalar doimiy ravishda yaxshilandi. Konvolyutsion neyron tarmoqlari (CNN) LSTM uchun ASR uchun CTC bilan almashtirildi, lekin kompyuterni koʻrishda muvaffaqiyatliroq.
Sanoatda chuqur o‘rganishning ta’siri 2000-yillarning boshida boshlangan, o‘shanda CNN allaqachon AQShda yozilgan barcha tekshiruvlarning taxminan 10% dan 20% gacha qayta ishlagan, deydi Yann LeKun. Chuqur oʻrganishning keng koʻlamli nutqni aniqlash uchun sanoat ilovalari taxminan 2010- yilda boshlangan.
2009-yilgi NIPSning nutqni aniqlash uchun chuqur o‘rganish bo‘yicha seminari nutqning chuqur generativ modellarining cheklovlari va chuqur neyron tarmoqlari (DNN) amaliy bo‘lishi mumkin bo‘lgan ko‘proq qobiliyatli apparat va keng ko‘lamli ma’lumotlar to‘plamini taqdim etish imkoniyati bilan asoslandi. Chuqur e’tiqod tarmoqlarining (DBN) generativ modellaridan foydalangan holda DNN-larni oldindan o‘qitish neyron tarmoqlarning asosiy qiyinchiliklarini engib o‘tishga ishonilgan. Shu bilan birga, kontekstga bog'liq bo‘lgan katta chiqish qatlamlari bo‘lgan DNN-lardan foydalanganda to‘g'ridan-to‘g'ri orqaga tarqalish uchun oldingi mashg'ulotni katta hajmdagi o‘quv ma’lumotlari bilan almashtirish o‘sha paytdagi Gauss aralashmasi modeliga (GMM) qaraganda xatolik darajasini sezilarli darajada kamaytirishi aniqlandi .Yashirin Markov modeli (HMM) va yanada rivojlangan generativ modelga asoslangan tizimlarga qaraganda. Ikki turdagi tizimlar tomonidan ishlab chiqarilgan tanib olish xatolarining tabiati har xil boʻlib, chuqur oʻrganishni barcha asosiy nutqni aniqlash tizimlari tomonidan qoʻllaniladigan mavjud yuqori samarali, ish vaqtidagi nutqni dekodlash tizimiga qanday integratsiya qilish boʻyicha texnik tushunchalarni taqdim etdi.Taxminan 2009–2010 yillardagi tahlillar GMM (va boshqa generativ nutq modellari) va DNN modellariga qarama-qarshi boʻlib, nutqni aniqlash uchun chuqur oʻrganishga dastlabki sanoat sarmoyasini ragʻbatlantirdi, oxir-oqibat keng tarqalgan va dominantlikka olib keldi. ushbu sanoatda foydalanish. Ushbu tahlil diskriminativ DNNlar va generativ modellar o‘rtasidagi taqqoslanadigan samaradorlik (xato darajasida 1,5% dan kam) bilan amalga oshirildi.
2010 yilda tadqiqotchilar qaror daraxtlari tomonidan tuzilgan kontekstga bog'liq HMM holatlariga asoslangan DNNning katta chiqish qatlamlarini qabul qilish orqali TIMITdan chuqur o‘rganishni katta lug'at nutqini aniqlashgacha kengaytirdilar .
Uskuna sohasidagi yutuqlar chuqur o‘rganishga qiziqishni kuchaytirdi. 2009 yilda Nvidia chuqur o‘rganishning "katta portlashi" deb ataladigan narsada ishtirok etdi, chunki "chuqur o‘rganish neyron tarmoqlari Nvidia grafik ishlov berish bloklari (GPU) bilan o‘qitildi ". Oʻsha yili Endryu Ng GPUlar chuqur oʻrganish tizimlari tezligini taxminan 100 barobar oshirishi mumkinligini aniqladi. Xususan, GPU'lar mashinani o‘rganishda ishtirok etadigan matritsa/vektor hisoblari uchun juda mos keladi. GPUlar oʻqitish algoritmlarini kattalik boʻyicha tezlashtiradi, ish vaqtini haftadan kunga qisqartiradi. Bundan tashqari, chuqur o‘rganish modellarini samarali qayta ishlash uchun maxsus apparat va algoritm optimallashtirishlaridan foydalanish mumkin.Chuqur o‘rganish inqilobi
2012 yilda Jorj E. Dahl boshchiligidagi jamoa bir dorining biomolekulyar maqsadini bashorat qilishuchun ko‘p vazifali chuqur neyron tarmoqlardan foydalangan holda "Merck Molecular

1-rasm. Qanchalik chuqur o'rganish mashinani o'rganishning kichik to'plamidir va mashinani o'rganish qanday qilib sun'iy intellektning kichik to'plamidir (AI)

Activity Challenge"da g'olib chiqdi. 2014-yilda Hochreiter guruhi ozuqa moddalari, uy-roʻzgʻor buyumlari va dori vositalaridagi ekologik kimyoviy moddalarning maqsaddan tashqari va toksik taʼsirini aniqlash uchun chuqur oʻrganishdan foydalangan va NIH, FDA va NCATSning “Tox21 Data Challenge ” tanlovida gʻolib chiqqan .

2011 yildan 2012 yilgacha tasvir yoki ob'ektni tanib olishda sezilarli qo‘shimcha ta’sirlar sezildi. Orqa tarqalish orqali o‘qitiladigan CNNlar o‘nlab yillar davomida mavjud bo‘lgan bo‘lsa-da va yillar davomida NN-larning GPU ilovalari, jumladan CNN-lar bo‘lsa-da, kompyuterda ko‘rishni rivojlantirish uchun CNN-larni GPU-larda tezkor tatbiq etish zarur edi.2011 yilda bu yondashuv vizual naqshni aniqlash tanlovida birinchi marta gʻayritabiiy ishlashga erishdi. Shuningdek, 2011 yilda u ICDAR Xitoy qo‘lyozma tanlovida g'olib chiqdi va 2012 yil may oyida ISBI tasvir segmentatsiyasi tanlovida g'olib chiqdi. 2011 yilgacha CNNlar kompyuterni ko‘rish konferentsiyalarida katta rol o‘ynamagan, ammo 2012 yil iyun oyida Ciresan va boshq. etakchi konferentsiyada CVPR GPUdagi CNN-larni maksimal darajada yig'ish ko‘rish ko‘rsatkichlarining ko‘plab yozuvlarini qanday yaxshilashi mumkinligini ko‘rsatdi. 2012 yil oktyabr oyida Krizhevskiy va boshqalar tomonidan shunga o‘xshash tizim. keng miqyosdagi ImageNet tanlovida sayoz mashinani o‘rganish usullaridan sezilarli farq bilan g'olib chiqdi. 2012 yil noyabr oyida Ciresan va boshqalar tizimi saraton kasalligini aniqlash uchun katta tibbiy tasvirlarni tahlil qilish bo‘yicha ICPR tanlovida, keyingi yilda esa xuddi shu mavzu bo‘yicha MICCAI Grand Challenge tanlovida g'olib chiqdi.2013 va 2014 yillarda chuqur oʻrganishdan foydalangan holda ImageNet topshirigʻidagi xatolik darajasi keng koʻlamli nutqni aniqlashdagi xuddi shundaytendentsiyadan soʻng yanada kamaydi.Keyinchalik tasvir tasnifi ko‘pincha CNN va LSTMlarning kombinatsiyasi sifatida tasvirlar uchun tavsiflarni (taglavhalarni) yaratish kabi yanada murakkab vazifaga kengaytirildi .
Ba’zi tadqiqotchilarning ta’kidlashicha, 2012 yil oktyabr oyida ImageNet g'alabasi AI sanoatini o‘zgartirgan "chuqur o‘rganish inqilobi"ning boshlanishini belgilab qo‘ydi. 2019-yil mart oyida Yoshua Benjio , Jefri Xinton va Yann LeKun chuqur neyron tarmoqlarni hisoblashning muhim tarkibiy qismiga aylantirgan kontseptual va muhandislik yutuqlari uchun Tyuring mukofoti bilan taqdirlandilar .