Тип шаблона

1.3 Xopfild va Xemming neyron tarmoqlari

Sun'iy neyron tarmoqlarning (NN) turli xil konfiguratsiyalari orasida o'rganish printsipi bo'yicha tasnifi, qat'iy aytganda, o'qituvchi bilan o'rganishga ham, o'qituvchisiz o'rganishga ham to'g'ri kelmaydiganlari mavjud. Bunday tarmoqlarda sinaps og'irliklari faqat bir marta, tarmoq ishlay boshlagunga qadar, qayta ishlanayotgan ma'lumotlar haqidagi ma'lumotlarga asoslanib hisoblab chiqiladi va tarmoqning barcha o'rgatishlari shu hisob-kitobga qisqartiriladi. Bir tomondan, aprior ma'lumotni taqdim etishni o'qituvchining yordami deb hisoblash mumkin, ammo boshqa tomondan, tarmoq haqiqiy ma'lumotlar kiritilishidan oldin namunalarni shunchaki eslab qoladi va shuning uchun uning xatti-harakatlarini o'zgartira olmaydi. "dunyo" (o'qituvchi) bilan aloqa aloqasi haqida gapirishga hojat yo'q. Xuddi shunday ishlash mantig'iga ega bo'lgan tarmoqlardan Xopfild tarmog'i va Hamming tarmog'i eng yaxshi ma'lum. Assotsiativ xotirani tashkil qilish uchun odatda foydalaniladi. Keyinchalik, biz ular haqida gaplashamiz.^viii.

Xopfild tarmog'ining blok diagrammasi 17-rasmda ko'rsatilgan. U bitta qatlamli neyronlardan iborat bo'lib, ularning soni bir vaqtning o'zida tarmoqning kirish va chiqishlari soniga teng. Har bir neyron boshqa barcha neyronlar bilan sinapslar orqali bog'langan, shuningdek, signal kiritiladigan bitta kirish sinapsiga ega. Chiqish signallari, odatdagidek, aksonlarda hosil bo'ladi.
Ushbu tarmoq tomonidan assotsiativ xotira sifatida hal qilinadigan muammo odatda quyidagicha shakllantiriladi. Ikkilik signallarning ma'lum bir to'plami (tasvirlar, ovozli raqamlashtirish, muayyan ob'ektlarni yoki jarayonlarning xususiyatlarini tavsiflovchi boshqa ma'lumotlar) ma'lum bo'lib, ular namunali hisoblanadi.
Tarmoq tegishli namunani (agar mavjud bo'lsa) tanlay olishi ("eslab qolish") yoki kirish ma'lumotlari uning kirishiga qo'llaniladigan o'zboshimchalik bilan ideal bo'lmagan signalning biron bir namunasiga mos kelmasligi haqida "xulosa chiqarishi" kerak ( Ilova D).



17-rasm Xopfild tarmog'ining blok diagrammasi

Umuman olganda, har qanday signal vektor bilan tavsiflanishi mumkin , n - tarmoqdagi neyronlar soni va kirish va chiqish vektorlarining o'lchami. Har bir xj elementi +1 yoki - 1 ga teng. K-tanlamani tavsiflovchi vektorni Xk, uning komponentlarini esa mos ravishda - x> k=0 deb belgilaymiz. ml, m - namunalar soni. Tarmoq unga taqdim etilgan ma'lumotlarga asoslangan namunani taniganda (yoki "eslab qolsa"), uning chiqishlari aynan uni o'z ichiga oladi, ya'ni Y = Xk, bu erda Y - tarmoq chiqish qiymatlari vektori: . Aks holda, chiqish vektori namunaviylarning hech biriga mos kelmaydi.

Agar, masalan, signallar qandaydir tasvirlar bo'lsa, u holda tarmoq chiqishidagi ma'lumotlarni grafik ko'rinishda ko'rsatish orqali namunaviylardan biriga (muvaffaqiyatli bo'lsa) to'liq mos keladigan rasmni ko'rish mumkin bo'ladi. tarmoqning "erkin improvizatsiyasi" (muvaffaqiyatsiz bo'lsa).
Tarmoqni ishga tushirish bosqichida sinaps og'irliklari quyidagicha o'rnatiladi:


(19)

Bu erda i va j mos ravishda presinaptik va postsinaptik neyronlarning indekslari;

- k-tanlama vektorining i-chi va j-chi elementlari.
Tarmoqning ishlash algoritmi quyidagicha (p - iteratsiya raqami):

1. 
   Tarmoq kirishlariga noma'lum signal qo'llaniladi. Aslida, uni kiritish aksonlarning qiymatlarini to'g'ridan-to'g'ri o'rnatish orqali amalga oshiriladi:
   

Shuning uchun kirish sinapslari tarmog'ini aniq shaklda belgilash mutlaqo an'anaviydir.

Yi ning o‘ng tomonidagi qavs ichidagi nol tarmoq tsiklidagi takrorlanishning nolga tengligini bildiradi.

2. 
   Neyronlarning yangi holati hisoblab chiqiladi
   

(20)

va yangi akson qiymatlari

(21)

Bu erda f - sakrash ko'rinishidagi faollashtirish funktsiyasi, 18a-rasmda ko'rsatilgan.

18-rasm. Faol funktsiyalar

3. 
   Oxirgi iteratsiyada akson chiqish qiymatlari o'zgarganligini tekshirish. Ha bo'lsa - 2-bandga o'ting, aks holda (chiqishlar barqarorlashgan bo'lsa) - tugatish. Bunday holda, chiqish vektori kirish ma'lumotlariga eng mos keladigan namunadir.
   

Yuqorida aytib o'tilganidek, ba'zida tarmoq tanib olishni amalga oshira olmaydi va chiqishda mavjud bo'lmagan tasvirni chiqaradi. Bu cheklangan tarmoq imkoniyatlari muammosi bilan bog'liq. Xopfild tarmog'i uchun yodlangan tasvirlar soni m taxminan 0,15 * n ga teng qiymatdan oshmasligi kerak. Bundan tashqari, agar ikkita A va B tasvirlari juda o'xshash bo'lsa, ular tarmoqda o'zaro bog'lanishlarni keltirib chiqarishi mumkin, ya'ni A vektorining tarmoq kirishlarida ko'rinishi uning chiqishlarida B vektorining paydo bo'lishiga olib keladi va aksincha^ix. Tarmoqning namunani aniq berishiga hojat qolmaganda, ya'ni namuna raqamini olish uchun etarli bo'lsa, assotsiativ xotira Hamming tarmog'i tomonidan muvaffaqiyatli amalga oshiriladi.
Ushbu tarmoq Xopfild tarmog'iga nisbatan kamroq xotira va hisoblash xarajatlari bilan tavsiflanadi, bu uning tuzilishidan ko'rinib turadi (19-rasm).



Guruch. 19. Xemming tarmog'ining strukturaviy diagrammasi

Tarmoq ikki qatlamdan iborat. Birinchi va ikkinchi qatlamlarning har birida m neyron mavjud, bu erda m - namunalar soni. Birinchi qavatning neyronlari tarmoq kirishlari bilan bog'langan n ta sinapsga ega (xayoliy nol qatlamni hosil qiladi). Ikkinchi qavatning neyronlari tormozlovchi (salbiy qayta aloqa) sinaptik aloqalar bilan o'zaro bog'langan. Har bir neyron uchun ijobiy fikrga ega bo'lgan yagona sinaps o'z aksoniga ulangan.

Tarmoqning g'oyasi sinovdan o'tgan tasvirdan barcha namunalargacha bo'lgan Hamming masofasini topishdir. Hamming masofasi - bu ikkita ikkilik vektordagi turli bitlar soni. Tarmoq noma'lum kirishga minimal Hamming masofasi bo'lgan naqshni tanlashi kerak, bu naqshga mos keladigan faqat bitta tarmoq chiqishini faollashtiradi.
Boshlash bosqichida birinchi qatlamning og'irlik koeffitsientlari va faollashtirish funktsiyasining chegarasi quyidagi qiymatlar bilan belgilanadi:


(22) (23)

Bu yerga - k-namunaning i-elementi. Ikkinchi qatlamdagi inhibitor sinapslarning og'irlik koeffitsientlari ma'lum bir qiymatga teng qabul qilinadi . O'z aksoniga ulangan neyronning sinapsi +1 og'irligiga ega.

Hamming tarmog'ining ishlash algoritmi quyidagicha:
Noma'lum vektor tarmoq kirishlariga beriladi uning asosida birinchi qatlam neyronlarining holati hisoblab chiqiladi (qavslar ichidagi yuqori chiziq qatlam raqamini ko'rsatadi):


(24)

Shundan so'ng, ikkinchi qatlam aksonlarining qiymatlari olingan qiymatlar bilan ishga tushiriladi:

(25)

2 Ikkinchi qavat neyronlarining yangi holatini hisoblang:

(26)

Va aksionlarning ma'nosi

(27)

F faollashtirish funktsiyasi chegara ko'rinishiga ega (26-rasm) va F qiymati argumentning har qanday mumkin bo'lgan qiymatlari to'yinganlikka olib kelmasligi uchun etarlicha katta bo'lishi kerak.

4. 
   Ikkinchi qatlam neyronlarining chiqishi oxirgi iteratsiyada o'zgarganligini tekshiring. Ha bo'lsa, 2-bosqichga o'ting. Aks holda, yakunlang.
   

Algoritmni baholashdan ko'rinib turibdiki, birinchi qatlamning roli juda shartli: 1-bosqichda uning og'irlik koeffitsientlari qiymatlaridan bir marta foydalangan holda, tarmoq endi unga murojaat qilmaydi, shuning uchun birinchi qatlam bo'lishi mumkin. tarmoqdan butunlay chiqarib tashlangan (og'irlik koeffitsientlari matritsasi bilan almashtirilgan), bu quyida tavsiflangan maxsus amalga oshirishda amalga oshirildi.
Hamming tarmog'ining dasturlash modeli NeuronHN, LayerHN va NetHN maxsus sinflar to'plamiga asoslanadi - seriyaning oldingi maqolalarida muhokama qilingan sinflardan olingan. Sinf tavsiflari 1-listingda ko'rsatilgan. Barcha funksiyalarni amalga oshirish NEURO_HN faylida (2-ro'yxat) mavjud. NeuronHN va LayerHN sinflari asosiy sinflardan ko'pgina usullarni meros qilib oladi.
NetHN sinfida quyidagi elementlar aniqlanadi:
Nin va Nout mos ravishda ma'lumotlar va namunalar soni bilan kirish vektorining o'lchamidir;
dx va dy - ikkita koordinatada kiritilgan tasvirning o'lchamlari (uch o'lchovli tasvirlar uchun dz o'zgaruvchisini qo'shish kerak), dx*dy Nin ga teng bo'lishi kerak, bu o'zgaruvchilar LoadNextPattern ma'lumotlarni yuklash funktsiyasi tomonidan ishlatiladi fayldan;
DX va DY - chiqish qatlamining o'lchamlari (faqat Show funktsiyasi yordamida chiqish qatlamining ko'rinishiga ta'sir qiladi); ikkala o'lcham juftligi SetDxDy funksiyasi tomonidan o'rnatiladi;
Sinf - SetClasses funktsiyasi bilan to'ldirilgan namunaviy ma'lumotlarga ega massiv, bu funksiya umumiy tarmoqni ishga tushirishni amalga oshiradi, bu esa namunaviy ma'lumotlarni saqlashga qadar davom etadi.
Initialize usuli tekshirilayotgan ma'lumotlar darajasida qo'shimcha ishga tushirishni amalga oshiradi (algoritmning 1-bosqichi). Cycle usuli 2-bosqichni amalga oshiradi va IsConverged usuli neyronlarning holati barqarorlashganligini tekshiradi (3-bosqich).
Global funktsiyalardan - SetSigmoidAlfaHN faollashtirish funksiyasining F parametrini o'rnatishga imkon beradi va SetLimitHN noldan birgacha bo'lgan oraliqda joylashgan koeffitsientni o'rnatadi va c ni tashkil etuvchi 1/m qiymatining ulushini aniqlaydi.
Ro'yxat 3 tarmoqni sinab ko'rish uchun sinov dasturini ko'rsatadi. Bu erda beshta neyrondan iborat ikkinchi qatlamli tarmoq qurilgan bo'lib, u beshta kirish naqshini tan olishni amalga oshiradi, bu 5 dan 6 gacha o'lchamdagi harflarning sxematik tasvirlari (20a-rasm). Tarmoqni o'rgatish aslida 4-listda ko'rsatilgan "charh. img" faylida yozilgan ideal tasvirlarni yuklash va yodlashdan iborat. Keyin "charhh. img" faylidan 8/30 (20b-rasm) shovqinli tasvirlar beriladi. o'z navbatida o'zining kirishiga (20b-rasm) 5-listing bilan, u muvaffaqiyatli ajratib turadi.



Fig.20 Malumot va sinov namunalari



21-rasm DAPning strukturaviy diagrammasi

R loyihasi NEURO_HN va NEUROHAM fayllariga qo'shimcha ravishda SUBFUN va NEURO_FF ni ham o'z ichiga oladi. Dastur Borland C++ 3.1 muhitida sinovdan o'tkazildi.

Taklif etilayotgan sinflar kattaroq Hamming tarmoqlarini ham modellashtirish imkonini beradi. Taniqli tasvirlar soni va murakkabligining ortishi aslida faqat operativ xotira miqdori bilan cheklanadi. Shuni ta'kidlash kerakki, Hamming tarmog'ini o'rgatish ushbu maqolalar turkumida hozirgacha ko'rib chiqilgan barcha algoritmlarning eng oddiy algoritmidir. Assotsiativ xotirani amalga oshiradigan tarmoqlarni muhokama qilish hech bo'lmaganda ikki tomonlama assotsiativ xotira (BMA) haqida qisqacha eslatib o'tmasdan to'liq bo'lmaydi. Bu Hopfield tarmog'i paradigmasining mantiqiy rivojlanishi bo'lib, unga ikkinchi qatlamni qo'shish kifoya. DAPning tuzilishi 18-rasmda ko'rsatilgan. Tarmoq bir-biri bilan bog'langan juft tasvirlarni saqlashga qodir. Juft tasvirlar vektor sifatida yozilsin Va , bu erda r - juftlar soni. Ba'zi vektorning birinchi qatlamini kiritish ikkinchi qatlamning kirishida boshqa vektorning shakllanishiga olib keladi , keyin yana birinchi qatlamning kirishiga kiradi. Har bir bunday tsikl bilan ikkala qatlamning chiqishidagi vektorlar namunaviy vektorlarning parslariga yaqinlashadi, ularning birinchisi - X - P ga eng o'xshash bo'lib, u eng boshida tarmoq kirishiga oziqlangan, ikkinchisi esa. - Y - u bilan bog'liq. Vektorlar orasidagi assotsiatsiyalar birinchi qatlamning W (l) vazn matritsasida kodlangan. Ikkinchi qavatning vazn matritsasi W (2) transpozitsiya qilingan birinchi (W (1)) T ga teng. O'quv jarayoni, Xopfild tarmog'idagi kabi, W matritsasining elementlarini dastlabki hisoblashdan iborat. (va shunga mos ravishda WT) formula bo'yicha:


(28)

Bu formula matritsa tenglamasining kengaytirilgan ko'rinishidir

(29)

ma'lum bir holat uchun tasvirlar vektor sifatida yozilganda, [n*1] va [1*n] o'lchamdagi ikkita matritsaning mahsuloti mos ravishda (11) ga olib keladi. Xulosa qilib, quyidagi umumlashtirishni amalga oshirish mumkin. Xopfild, Xemming va DAP tarmoqlari to'liq bo'lmagan va buzilgan ma'lumotlardan tasvirlarni qayta tiklash muammosini sodda va samarali hal qilish imkonini beradi. Tarmoqlarning past sig'imi (esda saqlangan tasvirlar soni) tarmoqlar nafaqat tasvirlarni eslab qolishi, balki ularni umumlashtirishga imkon berishi bilan izohlanadi, masalan, Hamming tarmog'idan foydalangan holda, maksimal ehtimollik bo'yicha tasniflash mumkin. mezon. Shu bilan birga, dasturiy ta'minot va apparat modellarini yaratish qulayligi ushbu tarmoqlarni ko'plab ilovalar uchun jozibador qiladi.