Amaliy matematika” fakulteti “60610300 – Axborot xavfsizligi
Download 0.51 Mb. Pdf ko'rish
|
1 mustaqil ish sun\'iy
- Bu sahifa navigatsiya:
- Mustaqil ravishda RNN (IndRNN)
|
Echo holati
Echo state network (ESN) siyrak ulangan tasodifiy yashirin qatlamga ega. Chiqish neyronlarining og'irligi tarmoqning o'zgarishi mumkin bo'lgan yagona qismidir (o'qitilishi mumkin). ESN'lar ma'lum vaqt seriyalarini qayta ishlab chiqarishda yaxshi . Neyronlarni ko'tarish varianti suyuqlik holati mashinasi sifatida tanilgan . Mustaqil ravishda RNN (IndRNN) Mustaqil takrorlanuvchi neyron tarmog'i (IndRNN) an'anaviy to'liq bog'langan RNNda gradient yo'qolishi va portlash muammolarini hal qiladi. Bir qatlamdagi har bir neyron o'zining o'tmish holatini faqat kontekst ma'lumoti sifatida oladi (bu qatlamdagi barcha boshqa neyronlarga to'liq ulanish o'rniga) va shuning uchun neyronlar bir-birining tarixidan mustaqildir. Uzoq yoki qisqa muddatli xotirani saqlash uchun gradientning yo'qolishi va portlashiga yo'l qo'ymaslik uchun gradientning orqaga tarqalishini tartibga solish mumkin. Neyronlararo ma'lumotlar keyingi qatlamlarda o'rganiladi. IndRNN ReLU kabi to'yinmagan chiziqli bo'lmagan funktsiyalar bilan mustahkam o'qitilishi mumkin. O'tkazib yuborilgan ulanishlar yordamida chuqur tarmoqlarni o'rgatish mumkin. Rekursiv : Rekursiv neyron tarmog'i bir xil og'irliklar to'plamini differensiallanuvchi grafikga o'xshash strukturaga rekursiv ravishda qo'llash orqali tuzilmani topologik tartibda kesib o'tish orqali yaratiladi.Bunday tarmoqlar odatda avtomatik farqlashning teskari rejimida ham o'qitiladi .Ular mantiqiy atamalar kabi strukturaning taqsimlangan tasvirlarini qayta ishlashlari mumkin.Rekursiv neyron tarmoqlarning alohida holati bu RNN, uning tuzilishi chiziqli zanjirga mos keladi. Rekursiv neyron tarmoqlari tabiiy tilni qayta ishlashda qo'llanilgan .Rekursiv neyron tensor tarmog'i daraxtdagi barcha tugunlar uchun tensorga asoslangan kompozitsiya funksiyasidan foydalanadi. Xulosa qilib aytganda, takroriy tarmoqlar arxitekturasi maxfiy holatni saqlab turish orqali ketma-ket ma'lumotlarni qayta ishlashga mo'ljallangan bo'lib, u har bir bosqichda yangilanadi va tarmoqqa qayta yuboriladi, bu esa tarmoqqa ma'lumotlardagi vaqtinchalik bog'liqliklarni qo'lga kiritish imkonini beradi. LSTM va GRU kabi asosiy arxitekturaning ilg‘or versiyalari yo‘qolib borayotgan gradient muammosini yengish va uzoq muddatli bog‘liqliklarni qo‘lga kiritishda unumdorlikni oshirish uchun ishlab chiqilgan. 4. Umumlashtirish – neyron to‘rining kirish signallarini o‘rganish-dagiga nisbatan chetlashishlarning qandaydir darajasigacha ta’sirchan bo‘lmasdan qolish qobiliyati. Masalan, obrazlarni anglash masalarida neyron to‘ri shovqinli va buzilgan obrazlarni anglash va tiklash imkonini beradi. Xatolar funksiyasi (xatolik funksionali, xatolik funksiyasi) – neyron to‘rini o‘rganish boshqarish jarayonida minimizatsiyani talab qiluvchi maqsad funksiya. Xatolik funksiya neyron to‘rini o‘rganish paytida ish sifatini baholash imkoniyatini beradi. Masalan, neyron to‘rini amaldagi chiqish vektori va oldindan ma’lum kutilgan vektor o‘rtasidagi masofani hisoblaydigan xatolik funksiyalardan foydala-niladi: Agar xatolik funksiyasi gradiyentini hisoblashning samarali usuli bo‘lsa, neyron to‘rini o‘rganish uchun optimizatsiyalashning gradiyent usullaridan foydalanish mumkin. Davr – o‘rganish jarayonidagi bitta itaratsiya bo‘lib, u o‘rgatuvchi to‘plamdagi barcha namunalarni taqdim etish va mumkin qadar nazorat tanlanmasida o‘rganish sifatini tekshirishni o‘z ichiga oladi. Me’yoridan ortiq o‘rganish (haddan tashqari yaqin moslash) – neyron to‘rinining konkret o‘rganish namunalarga haddan tashqari aniqlikdagi moslashuvi muammosi bo‘lib, uning natijasida to‘r umumlashtirish qobiliyatini yo‘qotadi. Me’yoridan ortiq o‘rganish juda uzoq vaqt o‘rganishda, o‘rgatuvchi namunalar soni yetarlicha bo‘lmaganda yoki neyron to‘ri juda ham murakkab tuzilishga ega bo‘lganida yuzaga keladi. Barcha SNT umumiy xossalaridan biri signallar bilan parallel ravishda ishlash xossasi bo‘lib, uni amalga oshirish uchun neyronlar to‘plamini qatlamlarga ajratish va ma’lum bir usulda turli qatlamlarini, ayrim hollarda bitta qatlamdagi neyronlarni o‘zaro bog‘lash zarur bo‘ladi. U yoki bu turdagi masalalarni yechish uchun sun’iy neyron to‘rining zarur va yetarli xossalarini asoslash neyrokompyuter texnikasini ishlab chiqarishdagi muhim bosqichlaridan biri hisoblanadi. Fundamental nazariy ishlanmalar yo‘qligi yechilayotgan masalaga qat’iy bog‘langan neyron to‘rini sintez qilish imkonini bermaydi. Aksariyat holatlarda fiksirlangan tuzilmaga (konfiguratsiyaga) ega bo‘lgan neyron to‘ri parametrlari konkret masala yechimiga mos sozlanadi va optimal variant intuitiv tanlanma asosida olinadi. Neyronlarning minimal soni va ular o‘rtasidagi bog‘lanishlarni izlash qo‘yilgan masalani yechish uchun yetarli bo‘lib, minimal konfiguratsiyali neyron to‘rini qurish jarayonini aniqlab beradi. Bu jarayon, agar qandaydir maxsus ko‘rsatmalar bo‘lmaganda, mumkin bo‘lgan yechimlar to‘plamidan ularning eng soddasini afzal bilish kerakligi asoslangan Okkam keskichi g‘oyasiga zid kelmaydi. Turli toifadagi alomatlar fazosida neyron to‘rini amalga oshirishning qiyinchiligi, birinchi navbatda kuchsiz shkalalarda o‘lchanadigan kirish parametrlarining vaznlarini tanlash bilan bog‘liqdir. Kuchli o‘lcham shkalalaridan kuchsiz shkalaga o‘tish orqali berilganlarni unifikatsiyalash ishlatiladigan alomatlar informativligini kamaytiradi, obyektlar tanlanmasini kombinator ravishda cheklangan holatga olib keladi. Bu o‘rinda aniq bir aprior ma’lumotlar bo‘lishi va ishlanadigan berilganlarning o‘zlarining xossalari kuchsiz shkalalarni “boyitishga”, ya’ni kuchsiz shkalalarga tartib va miqdoriy xossalarini berish imkonini beradi.Akasariyat hollarda neyron to‘rini o‘rganish jarayoni, oldindan berilgan, fiksirlangan sondagi neyronlar uchun ularning har birining chegirilgan yig‘indilar vaznlarini ketma-ket ravishda aniqlashtirish bilan olib boriladi. Minimal sondagi neyronlarga ega neyron to‘rini sintez qilish jarayoni tavsiya xususiyatiga ega va nazariy ravishda yetarlicha asoslanmagan. Har bir tadbiqiy soha uchun o‘zining mezonlari mavjud bo‘lib, ularni neyron to‘rini tuzilmasini tanlashda inobatga olish kerak bo‘ladi. Ko‘p qatlamli sun’iy neyron to‘rini o‘rganish (moslashuv-chanlik) darajasini (hajmini) hisoblash formulalari mavjud bo‘lib, ularga ko‘ra ko‘p qatlamli sun’iy neyron to‘rining o‘rganish sig‘imi bir qatlamli perseptrondan yuqori emas.Funksiyani approksimatsiyalash uchun neyron to‘ri konfiguratsiyasini tanlash. Sun’iy neyron to‘ri yordamida ko‘p o‘zgaruvchili uzluksiz funksiyani oldindan berilgan aniqlikda approksimatsiya qilish ko‘pgina tadbiqiy tadqiqotlarda asosiy masala hisoblanadi. Bu masalani yechishdagi neyron to‘rini o‘rganish usullari hali mukammalikdan uzoqda. Xususan, bu holat neyron konfiguratsiyasini tiklanayotgan funksiya murakkabligiga moslashtirishning qat’iy formal protseduralari yo‘qligida namoyon bo‘ladi. Odatda konfiguratsiyani tanlash evristik usulda amalga oshiriladi va u tadqiqotchining intuitsiyasi, hamda tajribasiga bog‘liq bo‘ladi. Bir qatlamli sun’iy neyron to‘rini tuzilmaviy va algoritmik sintez qilishning taklif qilinayotgan usul miqdoriy hamda turli toifadagi alomatlar fazosida tavsiflangan o‘rgatuvchi tanlanmaning etalon-obyektlar bilan minimal qoplamasini qurishning optimizatsiya masalasini yechishga asoslangan.Masala qo‘yilishi. Funksiyaning jadval qiymatlarining approksi-matsiyasi qilinuvch qiymatidan maksimal chetlashishi kattaligi berilganda o‘rgatuvchi tanlanmaning lokal- optimal qoplamasi qurish masalasi qaraladi. Obyekt-etalonlar atrofida (lokal sohada) funksiya approksi-matsiyasi radialbazis faollashtirish funksiyalari yordamida amalga oshiriladi. Ma’lum approksimatsiya usullaridan farqli ravishda to‘r-ning tayanch elementlari alomatlar fazosining lokal sohalari bo‘yicha nisbatan tekis (beriladigan aniqlik ma’nosida) taqsimlangan. Yechilayotgan masala chegarasida uzluksiz funksiya approksimatsiya-sining aniqligi va o‘rgatuvchi tanlanma hajmiga bog‘liq ravishda neyron to‘rinining umumlashtirish darajasi haqidagi masala qaraladi. Neyron tarmoqdagi og'irliklarni o'rgatish chiziqli bo'lmagan global optimallashtirish muammosi sifatida modellashtirilishi mumkin. Muayyan vazn vektorining mosligini yoki xatosini baholash uchun maqsadli funktsiyani quyidagicha shakllantirish mumkin: Birinchidan, tarmoqdagi og'irliklar og'irlik vektoriga muvofiq o'rnatiladi. Keyinchalik, tarmoq mashg'ulotlar ketma-ketligiga qarab baholanadi. Odatda, ta'lim ketma-ketligida ko'rsatilgan bashoratlar va maqsadli qiymatlar o'rtasidagi yig'indi kvadrat farqi joriy vazn vektorining xatosini ifodalash uchun ishlatiladi. Ushbu maqsadli funktsiyani minimallashtirish uchun o'zboshimchalik bilan global optimallashtirish usullaridan foydalanish mumkin.RNNlarni o'qitish uchun eng keng tarqalgan global optimallashtirish usuli genetik algoritmlardir , ayniqsa tuzilmagan tarmoqlarda. Dastlab, genetik algoritm neyron tarmoq og'irliklari bilan oldindan belgilangan tarzda kodlanadi, bunda xromosomadagi bitta gen bitta vazn aloqasini ifodalaydi. Butun tarmoq bitta xromosoma sifatida ifodalanadi. Fitnes funktsiyasi quyidagicha baholanadi: o Xromosomada kodlangan har bir vazn tarmoqning tegishli og'irlik aloqasiga tayinlanadi. o O'quv majmuasi kirish signallarini oldinga yo'naltiradigan tarmoqqa taqdim etiladi. o O'rtacha kvadratcha xatosi fitnes funksiyasiga qaytariladi. o Bu funktsiya genetik tanlov jarayonini boshqaradi. o Ko'p xromosomalar populyatsiyani tashkil qiladi; shuning uchun ko'plab turli neyron tarmoqlar to'xtash mezoni qondirilmaguncha rivojlanadi. Umumiy to'xtatish sxemasi: o Neyron tarmoq o'quv ma'lumotlarining ma'lum bir foizini o'rganganida yoki o O'rtacha-kvadrat-xatoning minimal qiymati bajarilganda yoki o Ta'lim avlodlarining maksimal soniga erishilganda. To'xtatish mezoni fitnes funksiyasi tomonidan baholanadi, chunki u mashg'ulot paytida har bir tarmoqdan o'rtacha kvadrat xatoning o'zaro javobini oladi. Shuning uchun genetik algoritmning maqsadi o'rtacha kvadrat xatoni kamaytirish, fitnes funktsiyasini maksimal darajada oshirishdir. Boshqa global (va/yoki evolyutsion) optimallashtirish usullari yaxshi og'irliklar to'plamini izlash uchun ishlatilishi mumkin, masalan, simulyatsiya qilingan tavlanish yoki zarrachalar to'dasini optimallashtirish . |
