1-ma’ruza. Berilganlarni intellektual tahliliga kirish

Namunaviy masala.
Aytaylik, bizni sevimli futbol jamoamiz keyingi o‘yinda g‘alaba qozonishi yoki yo‘qligi qiziqtiradi. Ma’lumki, natija bir qator parametrlarga bog‘liq. Barcha holatlarni qamarab olmagan holda asosiylar bilan cheklanamiz:
• raqib turnir jadvalida yuqori o‘rindami;
• o‘yin uyda o‘tkaziladimi;
• raqib jamoasi yetakchi o‘yinchilaridan biri uchrashuvni o‘tkazib yuboradimi;
• o‘yin vaqtida yomg‘ir yog‘adimi.
Bizda bu borada ba’zi statistik ma’lumotlar mavjud:

Raqibning jadvaldagi joylashuvi	O‘yin joyi	Yetakchi o‘yinchi	O‘yin paytida yomg‘ir yog‘ishi	G‘alaba
Yuqorida	Uyda	O‘ynaydi	Ha	Yo‘q
Yuqorida	Uyda	O‘ynaydi	Yo‘q	Ha
Yuqorida	Uyda	O‘tkazib yuboradi	Yo‘q	Yo‘q
Pastda	Uyda	O‘tkazib yuboradi	Yo‘q	Ha
Pastda	Mehmonda	O‘tkazib yuboradi	Yo‘q	Yo‘q
Pastda	Uyda	Ha	Ha	Ha
Yuqorida	Mehmonda	O‘ynaydi	Ha	Yo‘q
Pastda	Mehmonda	O‘ynaydi	Yo‘q	Ha

Biz keyingi o‘yinda jamoamiz g‘alaba qozonadimi yoki yo‘qligini tushunmoqchiman. O‘yin natijasi bo‘yicha qarorlar daraxti quyidagi ko‘rinishga ega bo‘ladi.

7-ma’ruza. Ko‘p qatlamli neyron to‘ri
Quyidagi rasmda teskari tarqalish protsedurasi yordamida o‘rganishga asoslangan ikki qatlamli SNT berilgan.



Tasvirni anglash masalasi
Berilgan harfning (belgining) tasviri bo‘yicha uning ASCII kodini chiqaradigan SNTni o‘rgatish masalasini qaraylik. Masalan, ‘A’ harfini kodi 65, ‘B’ harfining kodi 66 va hakoza. Quyidagi rasmda ‘A’ harfi uchun kirish va chiqish vektorlari ko‘rsatilgan.

			А							65
0	0	0	0	1	1	0	0			0
0	0	0	1	0	1	0	0			1
0	0	1	0	0	1	0	0			0
0	1	0	0	0	1	0	0			0
0	1	1	1	1	1	0	0			0
0	1	0	0	0	1	0	0			0
0	1	0	0	0	1	0	0			0
0	1	0	0	0	1	0	0			1

Xatolikni teskari tarqalishi algoritmi

Xatolikni teskari tarqalishiga asoslangan SNT o‘rgatish algoritmi quyidagi qadamlarni amalga oshirishni talab qiladi:

1. 
   O‘rgatuvchi tanlanmadan navbatdagi juftlikni tanlash va kirish vektorini to‘r kirishiga uzatish;
   
2. 
   To‘r chiqishi hisoblansin;
   
3. 
   To‘r chiqishi va talab qilingan chiqish o‘rtasidagi farq hisoblansin;
   
4. 
   To‘rning vaznlari shunday sozlansinki, natijada xatolik minmallashsin;
   
5. 
   Tanlanmaning har bir vektori uchun 1 dan 4 gacha bo‘lgan bosqichlarni butun bir tanlanma bo‘yicha xatolik maqbul darajaga tushguncha takrorlansin.
   
6. 
   

O‘rganish. Teskari yurish
Chiqish qatlami vaznlarni sozlash.
Chiqish qatlamidagi har bir neyron uchun maqsad (kutilgan) qiymat ma’lum bo‘lgani sababli, bu qatlam vaznlari delta-qoida yordamida sozlanadi.
Masalan, -qatlamdagi 𝑝-neyronning 𝑘 - qatlamdagi 𝑞 neyron chiqishidagi vaznni sozlash uchun chiqishi maqsad qiymat (Target) dan ayriladi (xatolik signali). Bu xato siquvchi funksiya hosilasiga (𝑂𝑈𝑇(1−𝑂𝑈𝑇)) ko‘paytiriladi va natijasida


qiymati hosil bo‘ladi. Bu qiymat 𝑗 – qatlamdagi 𝑝-neyron chiqishi bo‘lgan 𝑂𝑈𝑇 qiymati va η - o‘rganish tezligi koeffitsiyentiga ko‘paytiriladi.
.
Vaznlarni 𝑛 – qadamdagi sozlanishi

Bunday sozlashlar 𝑗- qatlamning barcha neyronlari uchun bajariladi.


Yashiringan qatlam neyronlarining vaznlarini sozlash
Yashiringan qatlamdagi neyron ( - qatlam) chiqish (𝑘-dagi) barcha sozlash qiymatlari – va ko‘paytirilib, ular har bir qaralayotgan neyron chiqishi uchun yig‘indisi hisoblanadi va aktivlashtirish funksiyasi ortirmasiga ko‘paytirishdan orqali 𝑗 - qatlamdagi 𝑝 - neyron uchun xatolik hisoblanadi.
.


Чиқиш қатлами -

Яширинган қатлам -

Олинди қатлам -





















-нейрон












8-mavzu. Sun’iy neyron to‘rlari va ularning arxitekturalari

Tirik mavjudotlar ichida eng oliysi bo‘lgan inson har qadamda anglash, o‘rganish va qaror qabul qilishga duch keladi. Neyroto‘rli yo‘nalish miya shunday murakkab masalalarni qay tarzda yechishi va bu tamoyillar avtomatik qurilmalarda qanday amalga oshirilganligini tushunishga harakatdan paydo bo‘ldi. Hozircha sun’iy neyron to‘rlari (artificial neural networks, ANN) tabiiy neyron to‘rlarning imkon doirasida soddalashgan eng oxirgi ko‘rinishidir. Inson va jonivorlarning nerv tizimi zamonaviy texnologiyalar yordamida yaratish mumkin bo‘lgan qurilmalardan ancha murakkabdir. Shunday bo‘lsada, nerv tizimlarining umumiy prinsiplaridan foydalanib ko‘pgina amaliy masalalarni muvaffaqiyatli yechishga erishilmoqda.

Sun’iy neyron to‘rlari biologiya bilan induksiyalanadi, chunki ular, funksional imkoniyatlari biologik neyronning ko‘pgina elementar funksiyalariga o‘xshash elementlardan tashkil topadi. Bu elementlar keyinchalik miya anatomiyasiga mos keluvchi (yoki mos kelmaydigan) holda tashkil etiladi. Ushbu yuzaki o‘xshashlikka qaramasdan, sun’iy neyron to‘rlari hayratlanarli sondagi miyaga xos bo‘lgan xususiyatlarni namoyish etadi. Misol uchun, ular tajribadan o‘rganish, oldingi misollarni yangi holatlarga umumlashtirish va ortiqcha berilganlarga ega bo‘lgan kiruvchi ma’lumotlardan muhim xususiyatlarni ajratib olish xususiyatlarini namoyon qilmoqda.
Bunday funksional o‘xshashlikka qaramasdan, uning eng optimist tarafdori ham yaqin kelajakda SNT inson miyasi funksiyalarini takrorlaydi degan fikrdan yiroqda. Eng murakkab SNT tomonidan namoyon qilingan real “intellekt” yomg‘ir chuvalchangi darajasidan ham pastdir va bu o‘rindagi shijoat zamonaviy reallikka mos ravishda kamtarona bo‘lishi kerak. Lekin, shu bilan birgalikda ayrim SNT amal qilishi hayratlanarli darajada inson miyasiga o‘xshashligini inkor qilib ham bo‘lmaydi. Bu imkoniyatlar hozirda qanday cheklangan bo‘lmasin, inson tafakkuriga chuqur kirib borish hamda ko‘pgina inqilobiy tadbiqlar yaqin yillarda ro‘y berishiga ishonchni paydo qiladi.
SNT tashqi muhitga bog‘liq ravishda o‘z hatti-harkatini o‘zgartirishi mumkin. Bu omil SNTga bo‘lgan qiziqishning asosiy sabablaridan biridir.
Kirish signallari taqdim etilgandan so‘ng (ehtimol, talab qilingan chiqishlar bilan), ular kerakli javobni ta’minlash uchun o‘z-o‘zidan sozlaydi. Har biri o‘zining kuchli va zaif tomonlariga ega bo‘lgan ko‘pgina o‘rgatish algoritmlari ishlab chiqilgan bo‘lib, SNT nimaga o‘rganishi, o‘rganish qanday o‘tkazish kerakligi bilan bog‘liq muammolar mavjud.
Sun’iy neyron to‘rlarining rivojlanishi biologiyadan ilhomlanadi. Boshqacha qilib aytganda, to‘r konfiguratsiyasi va algoritmlari yaratishda tadqiqotchilar ularni miya faoliyatini tashkil etilishi nuqtai nazaridan fiklaydilar. Ammo o‘xshatish shu yerda tugashi mumkin. Chunki bizning miya haqidagi bilimimiz shu qadar cheklanganki, miyaga taqlid qiladigan ko‘rsatmalar nisbatan kam topilishi mumkin. Shuning uchun to‘r yaratilishida foydali (zarur) amallarni bajara oladigan tuzilmalarni qidirishda zamonaviy biologik bilimlardan tashqariga chiqishga to‘g‘ri keladi. Ko‘p hollarda, miya oddiy bir metafora bo‘lib, biologik mos kelishdan voz kechishga zarurat paydo bo‘ladi va hayot materiyasida mumkin bo‘lmagan yoki miya anatomiyasi va faoliyatiga nisbatan juda ko‘p cheklanishlar asosida SNT yaratiladi.
Biologiya bilan bog‘liqlik juda zaif yoki ahamiyatsiz bo‘lsa ham, SNTini miya bilan qiyoslash davom etmoqda. Uning amal qilishi, ko‘p hollarda inson tafakkurini eclatadi va shu sababli ushbu analogiyani cheklab o‘tish mumkin emas.
Insonning nerv tizimi, juda ham katta murakkablikka ega neyronlar deb nomlanuvchi elementlardan tashkil topgan. Taxminan 1011 ta neyronlar, metr va undan katta uzunlikdagi 1015 ta uzatuvchi bog‘lanishlarda ishtirok etadi. Har bir neyron tananing boshqa elementlari bilan umumiy bo‘lgan xususiyatlarga ega, lekin uning o‘ziga xos qobiliyati miya tizimidagi kommunikatsiyani tashkil qiluvchi nerv yo‘llari bo‘yicha elektroximik signallarni qabul qilish, ishlov berish va uzatishdir.


1-rasm. Biologik neyron.
Yuqoridagi rasmda ikkita odatdagi biologik neyronlar ko‘rsatilgan. Dendritlar nerv katagidan boshqa neyronlarga boradi va ular sinaps deb nomlanuvchi bog‘lanish nuqtalarida signallarni qabul qiladi. Sinaps tomonidan kirish signallari neyron tanasiga keltiriladi. Bu yerda ular yig‘iladi, ayrimlari neyronni qo‘zg‘atishga harakat qilsa, boshqalari neyronni qo‘zg‘atishga to‘sqinlik qiladi. Neyron tanasidagi qo‘zg‘atishlar jamlanmasi (yig‘indisi) qandaydir bo‘sag‘adan oshsa neyron qo‘zg‘aladi va aksonlar orqali boshqa neyronlarga signal jo‘natadi. Bu asosiy funksional sxemaning juda ko‘p murakkabliklari va istisnolari borligiga qaramasdan, aksariyat SNT faqat ushbu sodda xossani modellashtiradi.
Sun’iy neyron – biologik neyronning ba’zi funksiyalarini bajaruvchi SNT elementi bo‘lib, uning asosiy vazifasi kirish signallariga bog‘liq holda chiqish signalini shakllantirishdan iborat. Nisbatan keng tarqalgan konfiguratsiyalarda kirish signallari moslashuvchi summatorlar orqali silliqlanadi, keyin summatorning chiqish signali nochiziqli o‘zgartirgichga (aktivatsion funksiyaga) kiradi va u yerda ham o‘zgartirilib chiqishga uzatiladi.

Sun’iy neyron
Aktivlashtirish funksiyasi – sun’iy neyronning chiqish signalini (OUT) hisoblovchi nochiziqli funksiya. Aktivlashtiruvchi sifatida asosan quyidagi funksiyalar ishlatiladi:

1. 
   Bo‘sag‘a-1 funksiyasi: . Бу ерда - bo‘sag‘a qiymati;
   

2. 
   Bo‘sag‘a-2 funksiyasi:
   

3. 
   Bo‘sag‘a-3 funksiyasi:
   

Bu yerda - bo‘sag‘a qiymatlari.

4. 
   Sigmoid mantiqiy funksiya: .
   

Neyroinformatika – biologik neyron to‘rlar ishlash prinsipi asosida hisoblash tizimlarini tadqiq qiladigan fan yo‘nalishi. Oldingi avlod hisoblash qurilmalaridan bunday tizimlarning asosiy farqi:
hisoblashda yuqori parallellik;
mavjud berilganlarni umumlashtirish qobiliyati;
dasturlash o‘rnini o‘rgatish bilan almashtirish;
shovqinga nisbatan yuqori turg‘unlik.
Neyron to‘rining arxitekturasi – neyron to‘rlari alohida elementlarining bog‘lanish va tashkillashtirish usuli.

Bir qatlamli neyron to‘ri.
Neyronlarning arxitektura farqi har xil aktivatsion funksiyadan foydalanishiga bog‘liq. Neyron to‘rlari arxitekturasiga ko‘ra 2 sinfga ajratish mumkin: to‘g‘ri tarqalgan to‘rlar va rekurrent to‘rlar.