6-mavzu. Neyron tarmoqlar

4. Giperbolik tangens:
.
6.11-rasmda mazkur funksiyaning grafigi keltirilgan. Sigma ko’rinishidagi
funksiyadan farqli o’laroq, giperbolik tangensdan foydalanganda neyronlarning
faollik darajasi -1 dan 1 gacha bo’lgan oraliqda tebranadi.
6.11-rasm. Giperbolik tangens
Natijaviy masalalarni yechishga qodir bo’lgan ko’p qatlamli neyron
tarmoqlarni yechishda oxirgi uchta funksiya katta qiziqish uyg’otadi. Bu
funksiyalarning qiymatlar sohasi ([0,1] yoki [-1,1]) chiquvchi vektorlarni tasniflash
uchun keng imkoniyatlar ochib beradi. Yuqorida qayd etilganidek, chiziqli
funksiya kamdan-kam qo’llaniladi. Tarmoqning determinantlashgan neyronlari
teskari aloqasiz (feed-forward) bo’lishi yoki bunday aloqalarni o’z ichiga olishi
∞






=
∑
i
i
i
x
w
th
y

---

mumkin (feed-back). Teskari aloqalarni o’z ichiga olgan tarmoqlar tadqiqotchilar
uchun neyron tarmoqlari sohasida katta qiziqish uyg’otadi. Bunday tarmoqlar
rekurrent deyiladi. Ham sodda, ham ko’p qatlamli norekurrent tarmoqlarda
kiruvchi vektorni tarmoq bo’yicha uzatishda faollashtirish oqimi kiruvchi
qatlamdan chiquvchigacha bo’lgan yo’nalish bo’ylab o’tadi. Chiquvchi
neyronllarning faollik darajasi aniqlanganidan so’ng, neyron holatlari
o’zgartirilmaydi. Bunday jarayon neyron tarmog’ining relaksatsiyasi deyiladi.
Neyron tarmog’ining yirik tadqiqotchilaridan biri Xopfild bo’lib, u
tarmoqlarning alohida turi, Xopfild tarmoqlarini taqdim etdi. 6.12-rasmda
keltirilgan sodda ikki qatlamli tarmoqni ko’rib chiqamiz. Har bir neyronning
kirishiga X vektorning mos komponentidan tashqari, boshqa neyronlardan birinchi
qatlamdagi neyron-taqsimlagichlar orqali chiquvchi signallar kelib tushadi.
O’zining dastlabki ishlarida [5] Xopfild boshlang’ich funksiyadan faollashtirish
funksiyasi sifatida foydalandi, lekin u yuqorida keltirilgan funksiya shaklida yozib
olinar edi.
1 1
2 2
3 3
6.12-rasm. Boshlang’ich rekurrent tarmoq
(6.2)
(6.2) ifodadan ko’rinib turibdiki, boshqa neyronlarning baholangan
yig’indisiga X vektorning j-komponentasi qo’shilgandagi qiymati boshlang’ich
holatdan katta bo’lsa neyron faol holatga o’tadi, har bir neyronning holati diskret









=
+
<
+
>
+
=
∑
∑
∑
≠
≠
≠
.
,
'
,
,
0
,
,
1
j
j
i
ji
i
j
j
j
i
ji
i
j
j
j
i
ji
i
j
j
x
y
w
agar
zgarmaydi
o
x
y
w
agar
x
y
w
agar
y
θ
θ
θ

---

tasodifiy vaqt momentida, ya’ni, asinxron ravishda o’zgargan. Chiquvchi signallar
majmui tarmoq holatlarining ikkilamchi vektorini shakllantiradi.
Shunday qilib, n ta chiqishga ega bo’lgan, ikkilik qiymatlarni qabul qiluvchi
neyron tarmog’i ta holatda bo’lish mumkin. Shu holatlarning har biri
koordinata o’qlari sifatida neyronlarning faollik darajasi olingan n-o’lchovli fazoda
giperkubning uchlaridan birini ifodalaydi. Kiruvchi vektorni uzatishda tarmoq
holatdan holatga o’tadi, ya’ni yakuniy holatga yetmagunicha giperkubning uchlari
bo’yicha harakatlanadi. Kiruvchi vektorlar, vazn koeffitsiyentlari va boshlang’ich
qiymatlarning ma’lum bir qiymatlari turg’un holatlarga mos keladi. Bitta tarmoqda
vazn koeffitsiyentlari va boshlang’ich qiymatlar o’zgarmasdan qolgani uchun (bu
yerda o’qitish rejimi hisobga olinmaydi) turg’un holatlari joriy kiruvchi vektorlar
bilan aniqlanadi. 6.13-rasmda uchta chiquvchi neyronli tarmoq uchun holatlar kubi
keltirilgan.
001 011
101 111
010
100 110
6.13-rasm. Uchta chiquvchi tugunli tarmoq uchun holatlar kubi
Koxonen va Grosberglar rekurrent tarmoqning vaznlar matrisasi nollardan
iborat bosh diagonalga nisbatan simmetrik bo’lsa, bu tarmoq turg’undir deb
tasdiqlaganlar [5,42]. Bu tasdiq quyidagi yo’l bilan isbotlanadi. Faraz qilaylik,
tarmoq o’z holatini o’zgartirganda qiymati kamayadi. Bu funksiya nolga
yetmagunicha kamayishi kerak. Funksiya sifatida quyidagi Lyapunov funksiyasini
olish mumkin:
. (6.3)
Bu yerda Е – tarmoqning “energiya” si: - tashqaridan beriluvchi kiruvchi
vektorning j-komponentasi; - j-neyronning boshlang’ich qiymati;
(6.3) ifodani hisobga olgan holda, j-neyron holatining o’zgarishi tufayli kelib
chiqqan energiya o’zgarishining formulasini yozib olamiz:
. (6.4)
(6.4) ifodani ko’rib chiqaylik. Agarda neyronning o’lchangan kirishi
boshlang’ich qiymatdan oshsa, u faol holatga o’tadi, bu degani, musbat qiymatda
kvadrat qavslardagi
ifoda “1” qiymatni qabul qiladi. Shunday qilib, agarda