Fan: Tizimlar nazariyasi Ishlab chiqdi: 160-20 imt guruh talabasi Mavlanbergenov Eldor

Suniy neyron tarmoqlari tarixi

Uorren Makkullox va Valter Pitts (1943) neyron tarmoqlar uchun hisoblash modelini yaratish orqali mavzuni ochdi. 1940-yillarning oxirida, D. O. Hebb mexanizmiga asoslangan o'quv gipotezasini yaratdi asab plastisiyasi deb tanilgan Xebbiylarni o'rganish. Farley va Uesli A. Klark (1954) birinchi bo'lib Hebbian tarmog'ini simulyatsiya qilish uchun "kalkulyator" deb nomlangan hisoblash mashinalaridan foydalangan. Rozenblat (1958) yaratgan pertseptron.Ko'p qatlamli birinchi funktsional tarmoqlar tomonidan nashr etilgan Ivaxnenko va 1965 yilda Lapa, sifatida Ma'lumotlar bilan ishlashning guruh usuli. Uzluksiz orqaga surish asoslari kontekstida olingan boshqaruv nazariyasi tomonidan Kelley 1960 yilda va tomonidan Bryson 1961 yilda, ning tamoyillaridan foydalangan holda dinamik dasturlash.

Neyron turlarini oqitish algoritmlari

Bunday tizimlar, misollarni ko'rib chiqish orqali vazifalarni bajarishni "o'rganadilar", odatda vazifalarga xos qoidalar bilan dasturlashtirilmasdan. Masalan, ichida tasvirni aniqlash, ular qo'lda qilingan misollarni tahlil qilish orqali mushuklarni o'z ichiga olgan rasmlarni aniqlashni o'rganishlari mumkin belgilangan "mushuk" yoki "mushuk yo'q" sifatida va boshqa rasmlarda mushuklarni aniqlash uchun natijalardan foydalanish. Ular buni mushuklar haqida oldindan bilmasdan qilishadi, masalan, ularning mo'ynasi, dumlari, mo'ylovi va mushukka o'xshash yuzlari. Buning o'rniga, ular avtomatik ravishda ishlov beradigan misollardan aniqlovchi xususiyatlarni yaratadilar.

O'quv darajasi model har bir kuzatuvdagi xatolarni to'g'rilash uchun zarur bo'lgan tuzatish bosqichlarining hajmini belgilaydi. O'qishning yuqori darajasi mashg'ulot vaqtini qisqartiradi, ammo yakuniy aniqligi pastroq, o'qish darajasi pastroq bo'lsa, ko'proq aniqlik olish imkoniyati mavjud. Kabi optimallashtirishlar Quickprop birinchi navbatda xatolarni minimallashtirishni tezlashtirishga qaratilgan bo'lib, boshqa yaxshilanishlar asosan ishonchliligini oshirishga harakat qiladi. Tarmoq ichidagi o'zgaruvchan ulanish og'irliklari kabi tebranishdan saqlanish va konvergentsiya tezligini oshirish uchun yaxshilanishlar adaptiv ta'lim darajasi tegishli ravishda ko'payadi yoki kamayadi.[47] Impuls momenti tushunchasi gradient va oldingi o'zgarish o'rtasidagi muvozanatni og'irlik sozlamalari avvalgi o'zgarishga ma'lum darajada bog'liq bo'lishi uchun tortish imkonini beradi. 0 ga yaqin momentum gradiyentni ta'kidlaydi, 1 ga yaqin qiymat oxirgi o'zgarishni ta'kidlaydi.