Mavzu: Xebb o’qitish qoidasi

Printsiplar
Sun'iy neyronlar va sun'iy neyron tarmoqlar nuqtai nazaridan, Hebb printsipi model neyronlari orasidagi og'irliklarni qanday o'zgartirishni aniqlash usuli sifatida tavsiflanishi mumkin. Ikki neyron bir vaqtning o'zida faollashsa, ikkita neyron orasidagi vazn ortadi va alohida faollashsa, kamayadi. Bir vaqtning o'zida ikkalasi ham ijobiy yoki ikkalasi ham salbiy bo'lgan tugunlar kuchli ijobiy og'irliklarga ega, qarama-qarshi bo'lganlar esa kuchli salbiy og'irliklarga ega. Quyida Hebbian o'rganishning formulali tavsifi keltirilgan: (ko'plab boshqa tavsiflar ham mumkin)
Buyerda ωij neyrondan ulanishning og'irligi j neyronga i, xi neyron uchun kirish i. E'tibor bering, bu namunani o'rganishdir (har bir mashg'ulot misolidan keyin vaznlar yangilanadi). Hopfield tarmog’ida ulanishlar ωij nolga o’rnatiladi i=j (refleksli ulanishlarga ruxsat berilmaydi). Ikkilik neyronlar bilan (faollashtirish 0 yoki 1), agar ulangan neyronlar naqsh uchun bir xil faollashuvga ega bo'lsa, ulanishlar 1 ga o'rnatiladi. Bir nechta mashg'ulot naqshlaridan foydalanilganda, ifoda individuallarning o'rtacha qiymatiga aylanadi:
ωij = xi xj
Nazoratsiz o’rganish, barqarorlik, umumlashtirish bilan aloqasi
Xebbiy ta'limning oddiy tabiati, faqat sinaptikdan oldingi va keyingi faoliyatning mos kelishiga asoslanganligi sababli, plastiklikning bu shakli nima uchun mazmunli o'rganishga olib kelishi intuitiv ravishda aniq bo'lmasligi mumkin. Ammo shuni ko'rsatish mumkinki, Hebbian plastisitasi kirishning statistik xususiyatlarini nazoratsiz o'rganish sifatida tasniflash mumkin bo'lgan tarzda oladi. Buni matematik jihatdan soddalashtirilgan misolda ko'rsatish mumkin. Keling, tezligiga asoslangan yagona neyronning soddalashtirilgan taxmini ostida ishlaylik y(t), ularning kirishlari stavkalariga ega x1(t)… xN(t). Neyronning javobi y(t) odatda uning kiritilishining chiziqli birikmasi sifatida tavsiflanadi, ∑iωixi , keyin javob funksiyasi f:
Oldingi bo'limlarda ta'riflanganidek Hebbian plastisitesi sinaptik og'irlik vaqtidagi evolyutsiyani tasvirlaydi :
Oddiylik uchun identifikatorga javob berish funktsiyasini qabul qilish f(a)=a, yozishimiz mumkin:
Agar davr bo'yicha mashg'ulotlar o'rtacha bajarilsa <…> diskret yoki uzluksiz (vaqt) ta'lim to'plami x amalga oshirilishi mumkin:
Buyerda C= deb qo'shimcha faraz ostidagi kirishning korrelyatsiya matritsasi =0 (ya'ni kirishlarning o'rtacha qiymati nolga teng). Bu tizim N bog'langan chiziqli differensial tenglamalar. beri C simmetrikdir, u diagonallashtiriladi va yechimni uning xos vektorlari asosida ishlash orqali topish mumkin.
Buyerda ki ixtiyoriy doimiylar, ci ning xos vektorlari C va αi ularning tegishli xos qiymatlari. Korrelyatsiya matritsasi har doim musbat-aniq matritsa bo'lganligi sababli, o'z qiymatlari hammasi ijobiy bo'lib, yuqoridagi yechimning vaqt bo'yicha har doim eksponensial ravishda farqlanishini osongina ko'rish mumkin. Bu Hebb qoidasining ushbu versiyasining beqarorligi bilan bog'liq ichki muammo, chunki dominant signalga ega har qanday tarmoqda sinaptik og'irliklar eksponent ravishda oshadi yoki kamayadi. Intuitiv ravishda, bu har doim presinaptik neyron postsinaptik neyronni qo'zg'atganda, ular orasidagi og'irlik kuchayib, kelajakda yanada kuchliroq qo'zg'alishni keltirib chiqaradi va hokazo. Chiziqli bo'lmagan, to'yingan javob funktsiyasini qo'shish orqali postsinaptik neyronning yonish tezligini cheklash yechim deb o'ylash mumkin. F har qanday neyron modeli uchun Hebb qoidasi beqaror ekanligini ko'rsatish mumkin
Shuning uchun neyronlarning tarmoq modellari odatda BCMnazariyasi, Oja qoidasi yoki umumlashtirilgan Hebbian algoritmi kabi boshqa oʻrganish nazariyalaridan foydalanadi. Nima bo'lishidan qat'iy nazar, hatto yuqoridagi beqaror yechim uchun ham, etarli vaqt o'tgandan so'ng, atamalardan biri boshqalardan ustun ekanligini ko'rish mumkin.
Buyerda α∗ ning eng katta xos qiymati hisoblanadi C. Bu vaqtda postsinaptik neyron quyidagi operatsiyani bajaradi:
c∗ orasidagi korrelyatsiya matritsasining eng katta xos qiymatiga mos keladigan xos vektor xis bu kirishning birinchi asosiy komponentini hisoblashga to'liq mos keladi . Ushbu mexanizm postsinaptik neyronlarning bir xil asosiy komponentni olishiga yo'l qo'ymaslik sharti bilan, masalan, postsinaptik qatlamda lateral inhibisyonni qo'shish orqali qo'shimcha postsinaptik neyronlarni qo'shish orqali kirishning to'liq PCA (asosiy komponent tahlili) ni amalga oshirish uchun kengaytirilishi mumkin. Shunday qilib, biz Hebbian o'rganishni nazoratsiz o'rganishning elementar shakli bo'lgan PCA bilan bog'ladik, chunki tarmoq kirishning foydali statistik jihatlarini olishi va ularni chiqishida distillangan tarzda "tavsiflashi" mumkin.