Snt, odatda oddiygina neyron tarmoqlari

Hisoblash kuchi[tahrir | manbasini tahrirlash]
Koʻp qatlamli perseptron universal yaqinlashish teoremasi bilan tasdiqlangan universal funksiya yaqinlashtiruvchisi hisoblanadi. Biroq, talab qilinadigan neyronlar soni, tarmoq topologiyasi, ogʻirliklar va oʻrganish parametrlari boʻyicha isbot konstruktiv emas.
Ratsional qiymatli ogʻirliklarga ega oʻziga xos takrorlanuvchi arxitektura (toʻliq aniqlikdagi haqiqiy sonli ogʻirliklardan farqli oʻlaroq). Cheklangan miqdordagi neyronlar va standart chiziqli ulanishlardan foydalangan holda universal Tyuring mashinasining kuchiga ega^[118]. Bundan tashqari, ogʻirliklar uchun irratsional qiymatlardan foydalanish super-Tyuring kuchiga ega boʻlgan mashinaga olib keladi.^[119]
Imkoniyat[tahrir | manbasini tahrirlash]
Modelning „imkoniyat“ xususiyati uning har qanday berilgan funksiyani modellashtirish qobiliyatiga mos keladi. Axborot sigʻimi va VC oʻlchami. PerseptroNTing axborot sigʻimi ser Devid Makkeyning Tomas Kover ishini jamlagan kitobida^[120] qizgʻin muhokama qilinadi.^[121] Standart neyronlar tarmogʻining sigʻimi (konvolyutsion emas) neyroNTi elektr elementi sifatida tushunishdan kelib chiqadigan toʻrtta qoida^[122] bilan olinishi mumkin. Axborot sigʻimi kirish sifatida har qanday maʼlumot berilgan tarmoq tomonidan modellanadigan funksiyalarni qamrab oladi. Ikkinchi tushuncha — VC oʻlchami. VC Dimension oʻlchov nazariyasi tamoyillaridan foydalanadi va eng yaxshi sharoitlarda maksimal quvvatni topadi. Bu maʼlum bir shaklda kiritilgan maʼlumotlardir.^[120] da taʼkidlanganidek, ixtiyoriy kiritishlar uchun VC oʻlchami PerceptroNTing axborot sigʻimining yarmini tashkil qiladi. Ixtiyoriy nuqtalar uchun VC oʻlchami baʼzan Xotira hajmi deb ataladi.^[123]
Konvergentsiya[tahrir | manbasini tahrirlash]
Modellar doimiy ravishda bitta yechimga yaqinlashmasligi mumkin, birinchidan, xarajat funksiyasi va modelga qarab mahalliy minimallar mavjud boʻlishi mumkin. Ikkinchidan, qoʻllaniladigan optimallashtirish usuli har qanday mahalliy minimumdan uzoqda boshlanganda birlashishni kafolatlamasligi mumkin.
Yana bir taʼkidlab oʻtish kerak boʻlgan masala shundaki, mashgʻulot birlashmani notoʻgʻri yoʻnalishga olib kelishi mumkin boʻlgan Egar nuqtasini kesib oʻtishi mumkin.
Tarmoqning kengligi cheksizlikka yaqinlashganda, SNT oʻzining birinchi tartibidagi Teylorning trening davomida kengayishi bilan yaxshi tavsiflanadi va shuning uchun affin modellarning konvergentsiya xatti-harakatlarini meros qilib oladi.^[124][125] Yana bir misol, parametrlar kichik boʻlsa, SNT koʻpincha pastdan yuqori chastotalarga qadar maqsadli funksiyalarga mos kelishi kuzatiladi. Ushbu xatti-harakatlar neyron tarmoqlarning spektral moyilligi yoki chastota printsipi deb ataladi.^{[126][127][128][129]} Bu hodisa Yakobi usuli kabi baʼzi yaxshi oʻrganilgan iterativ raqamli sxemalarning xatti-harakatlariga qarama-qarshidir. Chuqurroq neyron tarmoqlar past chastotali funksiyalarga nisbatan koʻproq moyil boʻlishi kuzatilgan.^[130]