Reja: Neyron tarmoq haqida tushunchlar

Sunʼiy neyron tarmoqlari (SNT), odatda oddiygina neyron tarmoqlari (NT) deb ataladi, hayvonlar miyasini tashkil etuvchi biologik neyron tarmoqlardan ilhomlangan hisoblash tizimlari.
SNT sunʼiy neyronlar deb ataladigan bogʻlangan birliklar yoki tugunlar toʻplamiga asoslanadi, ular biologik miyadagi neyronlarni erkin modellashtiradi. Sunʼiy neyron signallarni oladi, keyin ularni qayta ishlaydi va unga ulangan neyronlarga signal berishi mumkin. Ulanishdagi „signal“ haqiqiy raqam boʻlib, har bir neyroNTing chiqishi uning kirishlari yigʻindisining chiziqli boʻlmagan funksiyasi bilan hisoblanadi. Ulanishlar deyiladi qirralar. Neyronlar va chekkalar odatda oʻrganish davom etayotganda sozlanadigan vaznga ega. Neyronlar shunday chegaraga ega boʻlishi mumkinki, signal faqat yigʻilgan signal ushbu chegarani kesib oʻtgan taqdirdagina yuboriladi. Odatda, neyronlar qatlamlarga yigʻiladi. Signallar birinchi qatlamdan (kirish qatlami), oxirgi qatlamga (chiqish qatlami), ehtimol, qatlamlarni bir necha marta bosib oʻtgandan keyin oʻtadi.
Neyron tarmoqlar misollarni qayta ishlash orqali oʻrganadi (yoki oʻqitiladi), ularning har biri maʼlum „kirish“ va „natija“ ni oʻz ichiga oladi va ular oʻrtasida ehtimollik bilan oʻlchangan assotsiatsiyalarni hosil qiladi, ular tarmoqning oʻzida saqlanadigan maʼlumotlar tuzilmasida saqlanadi. Berilgan misol boʻyicha neyron tarmoqni oʻrgatish odatda tarmoqning qayta ishlangan chiqishi (koʻpincha bashorat) va maqsadli chiqishi oʻrtasidagi farqni aniqlash orqali amalga oshiriladi. Keyin tarmoq oʻz vaznli assotsiatsiyalarini oʻrganish qoidasiga koʻra va ushbu xato qiymatidan foydalanib sozlaydi. Ushbu tuzatishlarning etarli sonidan soʻng, mashgʻulot muayyan mezonlar asosida toʻxtatilishi mumkin.
Bunday tizimlar misollarni koʻrib chiqish orqali topshiriqlarni bajarishni „oʻrganadi“, odatda vazifaga xos qoidalar bilan dasturlashtirilmaydi. Masalan, tasvirni aniqlashda ular „mushuk“ yoki „mushuk yoʻq“ deb qoʻlda yorliqlangan misol tasvirlarni tahlil qilish va boshqa tasvirlardagi mushuklarni aniqlash uchun natijalardan foydalanish orqali mushuklar bor tasvirlarni aniqlashni oʻrganishi mumkin.
Uorren Makkallok va Uolter Pits (1943) neyron tarmoqlar uchun hisoblash modelini yaratish orqali mavzuni ochdilar. 1940-yillarning oxirida DO Hebb  neyron plastisiya mexanizmiga asoslangan taʼlim gipotezasini yaratdi, u Hebbian oʻrganish nomi bilan mashhur boʻldi. Farley va Uesli A. Klark  (1954) Hebbian tarmogʻini simulyatsiya qilish uchun dastlab hisoblash mashinalaridan foydalangan. 1958-yilda psixolog Frenk Rozenblat Amerika Qoʻshma Shtatlari Dengiz tadqiqotlari boshqarmasi tomonidan moliyalashtirilgan birinchi sunʼiy neyron tarmogʻi boʻlgan perseptro NT ixtiro qildi. Koʻp qatlamli birinchi funktsional tarmoqlar 1965-yilda Ivaxnenko va Lapa tomonidan Maʼlumotlar bilan ishlashning guruh usuli sifatida nashr etilgan. Uzluksiz orqaga tarqalish asoslari  boshqaruv nazariyasi kontekstida 1960-yilda Kelli  va 1961-yilda Brayson  tomonidan dinamik dasturlash tamoyillaridan foydalangan holda olingan. Keyinchalik tadqiqot Minsky va Papert (1969) dan soʻng toʻxtab qoldi, ular asosiy.
1970-yilda Seppo LiNTainmaa ichki differensiallanuvchi funksiyalarning diskret ulangan tarmoqlarini avtomatik farqlashning umumiy usulini (AD) nashr etdi.  1973-yilda Dreyfus boshqaruvchilar parametrlarini xato gradientlariga mutanosib ravishda moslashtirish uchun orqaga tarqalish usulidan foydalangan. 1982-yilda u LiNTainmaaning AD usulini neyron tarmoqlarga keng qoʻllanilgan usulda qoʻlladi.
Bu 1980-yillarda amaliy sunʼiy neyron tarmoqlarni ishlab chiqish uchun koʻproq ishlov berish quvvatini taʼminladi.
1986-yilda Rumelhart, Xinton va Uilyams ketma-ketlikda keyingi soʻzni bashorat qilishga oʻrgatilganda, orqa tarqalish soʻzlarning qiziqarli ichki koʻrinishlarini xususiyat vektorlari sifatida oʻrganganligini koʻrsatdi.
1988-yildan boshlab,  neyron tarmoqlardan foydalanish oqsil tuzilishini bashorat qilish sohasini oʻzgartirdi, birinchi kaskadli tarmoqlar bir nechta ketma-ketliklarni tekislash orqali ishlab chiqarilgan profillar (matritsalar) boʻyicha oʻqitilganda.
Deformatsiyaga tolerantlik bilan yordam berish uchun max-pooling joriy etildi.  Shmidxuber koʻp darajali tarmoqlar ierarxiyasini qabul qildi (1992) nazoratsiz oʻrganish orqali bir vaqtning oʻzida bir daraja oldindan oʻqitilgan va orqaga tarqalish orqali nozik sozlangan.
Neyron tarmoqlarning dastlabki muvaffaqiyatlari birja bozorini bashorat qilish va 1995-yilda (asosan) oʻzini oʻzi boshqaradigan avtomobilni oʻz ichiga oladi.
Geoffrey Xinton va boshqalar. (2006) har bir qatlamni modellashtirish uchun cheklangan BoltzmSNT mashinasi. 2012-yilda Ng va Din faqat yorliqsiz tasvirlarni tomosha qilish orqali mushuklar kabi yuqori darajadagi tushunchalarni tan olishni oʻrgangan tarmoq yaratdilar.  Nazoratsiz oldindan oʻqitish va GPU va taqsimlangan hisoblash quvvatining ortishi kattaroq tarmoqlardan foydalanishga imkon berdi, xususan, tasvir va vizual aniqlash muammolarida " chuqur oʻrganish " nomi bilan mashhur boʻldi.
Ciresan va uning hamkasblari (2010)  gradient muammosining yoʻqolishiga qaramay, GPUlar koʻp qatlamli oldinga oʻtiladigan neyron tarmoqlar uchun orqaga tarqalishni amalga oshirish mumkinligini koʻrsatdi. 2009 va 2012-yillar oraligʻida SNT tasvirlarni aniqlash tanlovlarida sovrinlarni qoʻlga kirita boshladi, dastlab naqshni aniqlash va qoʻl yozuvini tanib olish boʻyicha turli vazifalarda inson darajasidagi ishlashga yaqinlashdi.  Graves, Alex; and Schmidhuber, Jürgen; Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks, in Bengio, Yoshua; Schuurmans, Dale; Lafferty, John; Williams, Chris K. I.; and Culotta, Aron (eds.), Advances in Neural Information Processing Systems 22 (NIPS’22), 7-10 December 2009, Vancouver, BC, Neural Information Processing Systems (NIPS) Foundation, 2009, pp. 545-552. .2009-yilda oʻrganiladigan uchta til haqida oldindan maʼlumotga ega boʻlmagan holda qoʻl yozuvini bogʻlash boʻyicha uchta tanlovda gʻolib chiqdi.
Ciresan va uning hamkasblari yoʻl belgilarini tanib olish(IJCNT 2012) kabi mezonlarda insoNTing raqobatbardosh/gʻayritabiiy ishlashiga  erishish uchun birinchi namuna tan oluvchilarni yaratdilar.


Neyron va miyelinli akson, dendritlardagi kirishlardan akson terminallaridagi chiqishlarga signal oqimi bilan.
SNT anʼanaviy algoritmlar unchalik muvaffaqiyatli boʻlmagan vazifalarni bajarish uchun inson miyasining arxitekturasidan foydalanishga urinish sifatida boshlandi. Neyronlar bir-biri bilan turli naqshlarda bogʻlangan, bu baʼzi neyronlarning chiqishi boshqalarning kirishiga aylanishiga imkon beradi. Tarmoq yoʻnaltirilgan, vaznli grafik hosil qiladi.
Sunʼiy neyron tarmogʻi simulyatsiya qilingan neyronlar toʻplamidan iborat.Har bir neyron boshqa tugunlarga biologik mos keladigan bogʻlanishlar orqali bogʻlangan tugundir.Har bir boʻgʻiNTing vazni bor, bu bir tuguNTing boshqasiga taʼsir kuchini belgilaydi.