Tursunova durdonaxonning

Sun’iy neyron to’rlarini o’rganish jarayonidagi xatolik sabablari.

Ushbu maqolada neyron tarmoqlari bilan ishlashda yuzaga kelishi mumkin bo'lgan muammolar, shuningdek ularni qanday hal qilish kerakligi muhokama qilinadi.
Kalit so'zlar: neyron tarmoqlari, o'qitish, dastlabki vazn qiymatlarini tayyorlash, chiqish qiymatlarini rejalashtirish.
ko'rib chiqiladigan omillar.


Neyron tarmoqlari har doim ham rejalashtirilganidek ishlamaydi. O'quv ma'lumotlari va tarozilarning boshlang'ich qiymatlarini rejalashtirish, shuningdek chiqish qiymatlarini rejalashtirish kerak. Neyron tarmog'ining rejadan tashqari ishlashiga ta'sir qiluvchi va ushbu ishda
Umumiy muammo-bu tarmoqning to'yinganligi. Agar signallarning katta qiymatlari mavjud bo'lsa, ko'pincha katta boshlang'ich vazn koeffitsientlari tomonidan qo'zg'atilsa paydo bo'ladi. Shunday qilib, signallar faollashtirish funktsiyasining gradienti nolga yaqin bo'lgan hududga tushadi. Bu, o'z navbatida, o'rganish qobiliyatiga, ya'ni eng yaxshi koeffitsientlarni tanlashga ta'sir qiladi.

1. 
   Kirish qiymatlari
   

Agar siz faollashtirish funktsiyasi sifatida foydalansangiz — sigmoid, keyin kirish ma'lumotlari juda katta bo'lsa, chiziq to'g'ri chiziqqa o'xshaydi. Shuning uchun kichik qiymatlarni belgilash tavsiya etiladi. Shu bilan birga, juda kichik qiymatlar ham o'rganishga yomon ta'sir qiladi, chunki kompyuter hisoblashining aniqligi pasayadi. Shuning uchun 0.0 dan 1.0 gacha bo'lgan kirish qiymatlarini tanlash tavsiya etiladi. Bunday holda siz 0.01 ga teng ofsetni kiritishingiz mumkin. [2, c. 124]. 1-rasmda shuni ko'rsatadiki, kirish ma'lumotlarining ko'payishi bilan neyron tarmoqning o'rganish qobiliyati pasayadi, chunki sigmoid deyarli to'g'rilanadi.

Shakl: 1. Kirish ma'lumotlarini tayyorlash
Chiqish qiymatlari
Chiqish qiymatlari tanlangan faollashtirish funktsiyasiga qarab tanlanishi kerak. Agar u 1.0 dan yuqori qiymatlarni ta'minlay olmasa, lekin biz chiqish qiymatlarini 1.0 dan ortiq olishni istasak, unda vaziyatga moslashish uchun vazn koeffitsientlari oshadi. Ammo hech narsa chiqmaydi, chiqish qiymatlari hali ham faollashtirish funktsiyasining maksimal qiymatidan katta bo'lmaydi. Shuning uchun chiqish qiymatlari 0.0 dan 1.0 gacha bo'lishi kerak. Chegara qiymatlariga erishilmaganligi sababli, 0.01 dan 0.99 gacha bo'lgan qiymatlarni tanlash tavsiya etiladi. Shaklda. 2 ushbu qoida namoyish etildi.


Shakl: 2. Chiqish qiymatlari chegarasi Tasodifiy boshlang'ich vazn qiymatlari
Og'irlik koeffitsientlarining boshlang'ich qiymatlarini tanlashning eng oson varianti ularni -1.0 dan +1.0 gacha bo'lgan diapazondan tanlashdir. Ammo tarmoq konfiguratsiyasiga qarab koeffitsientlarni aniqlashga imkon beradigan yondashuvlar mavjud. Maqsad shundaki, agar tarmoq tuguniga ko'plab signallar kirsa va ularning xatti-harakatlari ma'lum bo'lsa, unda vazn koeffitsientlari ularning holatini buzmasligi kerak. Ya'ni, og'irliklar 1 va 2-bandlarda tavsiflangan kirish va chiqish qiymatlarini puxta tayyorlashni buzmasligi kerak.

Agar qoidani taxminan tasvirlab beradigan bo'lsak, unda shunday bo'ladi:
"og'irlik koeffitsientlari tasodifiy diapazondan tanlangan raqamlar bilan
boshlanadi, ular tugunga olib boradigan bog'lanishlar sonining kvadrat
ildizining	o'zaro	bog'liqligi	bilan	belgilanadi"

Shakl: 3. Vazn koeffitsientlarini tanlashga yondashuvlar
Bir xil vaznni o'rnatmaslik tavsiya etiladi. Shunday qilib, tugunlarga bir xil signallar keladi va chiqish qiymatlari bir xil bo'ladi. Va tarozi yangilangandan so'ng, ularning qiymatlari hali ham teng bo'ladi.
Bundan tashqari, vazn koeffitsientlari uchun nol qiymatlarni belgilash mumkin emas, chunki bu holda kirish qiymatlari "kuchini yo'qotadi".
Radial neyron to’rlar.
Reja:

1. 
   Radial neyron to’rlar.
   
2. 
   Radial asosli funktsiya tarmog'i.
   
3. 
   Radial asos funktsiyasi.
   

Radial asos funktsiyalari - bu markazga nisbatan masofa mezoniga ega bo'lgan funktsiyalar. Radial asos funktsiyalari ko'p qavatli perkeptronlarda sigmasimon yashirin qatlam o'tkazish xarakteristikasini o'rnini bosuvchi sifatida qo'llanilgan. RBF tarmoqlari ikkita qatlamga ega: Birinchisida, kirish "yashirin" qatlamning har bir RBF-ga joylashtirilgan. Tanlangan RBF odatda Gauss hisoblanadi. Regressiya muammolarida chiqish qatlami o'rtacha taxmin qilingan natijani ifodalovchi yashirin qatlam qiymatlarining chiziqli birikmasidir. Ushbu chiqish qatlami qiymatining talqini a bilan bir xil regressiya modeli statistikada. Tasniflash muammolarida odatda chiqish qatlami sigmasimon funktsiya orqa ehtimollikni ifodalovchi yashirin qatlam qiymatlarining chiziqli birikmasidan. Ikkala holatda ham ishlash tez-tez qisqarish texnikasi bilan yaxshilanadi tizma regressiyasi klassik statistikada. Bu a-dagi kichik parametr qiymatlariga (va shuning uchun silliq chiqish funktsiyalariga) bo'lgan oldingi ishonchga mos keladi Bayesiyalik ramka.
RBF tarmoqlari ko'p qatlamli perkeptronlar singari mahalliy minimalardan qochish afzalliklariga ega. Buning sababi shundaki, o'quv jarayonida sozlanadigan yagona parametr - bu yashirin qatlamdan chiqish qatlamigacha chiziqli xaritalash. Lineerlik xato yuzasining kvadratik bo'lishini va shuning uchun bitta osonlik bilan topiladigan minimal darajaga ega bo'lishini ta'minlaydi. Regressiya muammolarida buni bitta matritsali operatsiyada topish mumkin. Tasniflash muammolarida sigmasimon chiqish funktsiyasi tomonidan kiritilgan qat'iy bo'lmagan chiziqlilikdan foydalanish eng samarali tarzda hal qilinadi iterativ ravishda qayta tortilgan eng kichik kvadratchalar.
RBF tarmoqlari radial asos funktsiyalari bilan kirish maydonini yaxshi qamrab olishni talab qiladigan kamchiliklarga ega. RBF markazlari kirish ma'lumotlarini taqsimlanishiga qarab belgilanadi, ammo bashorat qilish vazifasiga murojaat qilmasdan. Natijada, vakillik resurslari kirish maydonining vazifaga ahamiyatsiz bo'lgan joylarida sarflanishi mumkin. Umumiy echim - bu har bir ma'lumot nuqtasini o'z markazi bilan bog'lashdir, ammo bu oxirgi qatlamda hal qilinadigan chiziqli tizimni kengaytirishi va qisqarish texnikasini talab qilishi kerak ortiqcha kiyim.
Har bir kirish ma'lumotlarini RBF bilan bog'lash tabiiy ravishda yadro usullariga olib keladi qo'llab-quvvatlash vektorli mashinalar (SVM) va Gauss jarayonlari (RBF bu yadro funktsiyasi ). Uchala yondashuv ham kirish ma'lumotlarini chiziqli model yordamida o'rganish muammosini hal qilish mumkin bo'lgan bo'shliqqa

proektsiyalash uchun chiziqli bo'lmagan yadro funktsiyasidan foydalanadi. Gauss jarayonlari singari va SVM-lardan farqli o'laroq, RBF tarmoqlari, ehtimol, ehtimollikni maksimal darajada oshirish (xatoni minimallashtirish) orqali maksimal ehtimollik doirasi bo'yicha o'qitiladi. SVMlar marjni maksimal darajaga ko'tarish orqali ortiqcha jihozlardan qochishadi. SVMlar ko'pgina tasniflash dasturlarida RBF tarmoqlaridan ustun turadi. Regression dasturlarida ular kirish maydonining o'lchovliligi nisbatan kichik bo'lsa, ular raqobatdosh bo'lishi mumkin.

RBF tarmoqlari qanday ishlaydi
RBF neyron tarmoqlari kontseptual jihatdan o'xshashdir K-eng yaqin qo'shni (k-NN) modellari. Asosiy g'oya shundan iboratki, o'xshash kirishlar o'xshash natijalarni keltirib chiqaradi. O'quv majmuasida ikkita taxminiy o'zgaruvchi mavjud, x va y, maqsadli o'zgaruvchilar esa ijobiy va salbiy ikkita toifaga ega. X = 6, y = 5.1 taxminiy qiymatlari bo'lgan yangi holat berilgan bo'lsa, maqsad o'zgaruvchisi qanday hisoblangan? Ushbu misol uchun bajarilgan eng yaqin qo'shni tasnifi qancha qo'shni punktlar ko'rib chiqilishiga bog'liq. Agar 1-NN ishlatilsa va eng yaqin nuqta salbiy bo'lsa, unda yangi nuqta salbiy deb tasniflanishi kerak. Shu bilan bir qatorda, agar 9-NN tasnifi ishlatilsa va eng yaqin 9 nuqta ko'rib chiqilsa, u holda atrofdagi 8 ijobiy nuqtaning ta'siri eng yaqin 9 (salbiy) nuqtadan ustun bo'lishi mumkin.
RBF tarmog'i neyronlarni taxminiy o'zgaruvchilar tomonidan tavsiflangan bo'shliqda joylashtiradi (bu misolda x, y). Ushbu bo'shliq taxminiy o'zgaruvchilar kabi ko'p o'lchamlarga ega. Evklid masofasi yangi nuqtadan har bir neyronning markazigacha hisoblanadi va har bir neyron uchun og'irlikni (ta'sirni) hisoblash uchun masofaga radial asos funktsiyasi (RBF) (yadro funktsiyasi deb ham ataladi) qo'llaniladi. Radial asos funktsiyasi shunday nomlangan, chunki radius masofasi funktsiya argumentidir.
Og'irligi = RBF (masofa)
Radial asos funktsiyasi. Yangi nuqta uchun qiymat RBF funktsiyalarining chiqish qiymatlarini har bir neyron uchun hisoblangan og'irliklarga ko'paytirilib topiladi. Neyron uchun radial asos funktsiyasi markaz va radiusga ega (shuningdek, tarqalish deb ham ataladi). Har bir neyron uchun radius har xil bo'lishi mumkin va DTREG tomonidan ishlab chiqarilgan RBF tarmoqlarida radius har bir o'lchovda boshqacha bo'lishi mumkin.
Kattaroq tarqalish bilan nuqtadan uzoqroq masofada joylashgan neyronlar ko'proq ta'sir ko'rsatadiEntsiklopediya site:ewikiuz.topRBF tarmoqlari uchta qatlamdan iborat:
Kirish qatlami: Har bir taxminiy o'zgaruvchiga kirish sathida bitta neyron paydo bo'ladi. Bo'lgan holatda kategorik o'zgaruvchilar, N-1 neyronlari ishlatiladi, bu erda N - toifalar soni. Kirish neyronlari qiymatlarni kamaytirish orqali standart diapazonlarini standartlashtiradi o'rtacha va ga bo'lish interkartil oralig'i. Keyin kirish neyronlari qiymatlarni yashirin qatlamdagi neyronlarning har biriga beradi.


Yashirin qatlam: Ushbu qatlam o'zgaruvchan sonli neyronlarga ega (o'quv jarayoni bilan belgilanadi). Har bir neyron, taxminiy o'zgaruvchilar kabi ko'p o'lchamlarga ega bo'lgan nuqtada joylashgan radiusli asos funktsiyasidan iborat. RBF funktsiyasining tarqalishi (radiusi) har bir o'lchov uchun har xil bo'lishi mumkin. Markazlar va tarqalishlar mashg'ulotlar bilan belgilanadi. Kirish qatlamidan kirish qiymatlarining x vektori taqdim etilganda, yashirin neyron sinov holatining evklid masofasini neyronning markaziy nuqtasidan hisoblab chiqadi va keyin RBF yadrosi funktsiyasini yoyilgan qiymatlar yordamida ushbu masofaga qo'llaydi. Olingan qiymat summa qatlamiga o'tkaziladi. Xulosa qatlami: Yashirin qatlamdagi neyrondan chiqadigan qiymat neyron bilan bog'liq bo'lgan vaznga ko'paytiriladi va boshqa neyronlarning og'irlik qiymatlarini qo'shadi. Ushbu summa mahsulotga aylanadi. Tasniflash muammolari uchun har bir maqsad toifasi uchun bitta chiqish (og'irlik va yig'ish birligining alohida to'plami bilan) ishlab chiqariladi. Kategoriya uchun chiqarilgan qiymat - bu ishning ushbu toifaga ega bo'lish ehtimoli.
Yashirin qatlamdagi neyronlarning soni .Har bir yashirin qatlamli RBF funktsiyasi markazining koordinatalari. Har bir o'lchamdagi har bir RBF funktsiyasining radiusi (tarqalishi). RBF funktsiyasi natijalariga qo'llaniladigan og'irliklar summa qatlamiga o'tayotganda
RBF tarmoqlarini o'qitish uchun turli usullardan foydalanilgan. Bir yondashuv avval foydalanadi K - klasterlash degan ma'noni anglatadi keyinchalik RBF funktsiyalari markazlari sifatida ishlatiladigan klaster markazlarini topish. Biroq, K-vositalari klasteri hisoblash uchun juda intensiv bo'lib, u ko'pincha markazlarning eng maqbul sonini yaratmaydi. Yana bir yondashuv - markazlar sifatida o'quv punktlarining tasodifiy to'plamidan foydalanish. DTREG har bir neyron uchun optimal markaz nuqtalari va tarqalishini aniqlash uchun evolyutsion yondashuvdan foydalanadigan o'quv algoritmidan foydalanadi. Tarmoqqa neyronlarni qo'shishni qachon to'xtatish kerakligini taxmin qilingan bir martalik (LOO) xatoni kuzatib borish va ortiqcha ishlamasligi sababli LOO xatosi ko'payib ketganda tugatish.
Yashirin qatlamdagi neyronlar va yig'indisi qatlami orasidagi optimal og'irliklarni hisoblash tizma regressiyasi yordamida amalga oshiriladi. Takroriy protsedura umumlashtirilgan o'zaro tasdiqlash (GCV) xatosini minimallashtiradigan optimal tartibga solish Lambda parametrini hisoblab chiqadi.