1-ma’ruza. Berilganlarni intellektual tahliliga kirish

14-ma’ruza. Algoritmlarning ansamblli modellari
Berilganlar ketma-ketligiga ishlov berishga rekurent neyron to’rlari (RNT) eng ilg'or neyron to’rlardandir, chunki u universal hisoblash masinalaridir: u elektron sxemalarning ishlashini immitatsiya qiladi. To'liq ulangan RNTda barcha tugunlar, kirish tugunlaridan tashqari qolgan tugunlar bilan ulangan bo’ladi. To’g’ri bog’lanishli neyron to’rlardan farqli o'laroq, RNTlarda xalqalar, rekursiya va shunga o’xshashlar bo'lishi mumkin. RNT amalga oshirish dasturi – bu uning vazn matritsasini hisoblashdir.

RNTlar ma’lumotlarni ketma-ket va parallel ishlov berish birlashtirgan dasturlarni oson va samarali bajarishga o'rganishi mumkin. Berilgan neyron to’rida ishonch koeffitsientlarini tayinlash chuqur yoki sayoz ekanligini aniqlash uchun mos keluvchi ishonch koeffitsientini taynlash yo'llarining davomiyligini, ya'ni ketma-ket tugunlar orasidagi mumkin bo'lgan sabab-oqibat bog'lanish zanjirlarini ko'rib chiqishga to’g’ri keladi. Misol uchun, berilganlar kirish neyronlaridan yashirin neyronlar orqali, teskari bog’lanish bo'lmagan holda chiqish neyronlariga o'tishi mumkin. Yana bir variant - kirish neyronlaridan olingan berilganlar dinamik ravishda rekurent neyron to’rlarda tranformatsiyalanadi.
Fiksirlangan topologiyaga ega bo'lgan to’g’ri bog’lanishli neyron to’rlari masalalarning maksimal hisoblash murakkabligi bo'yicha cheklovlarga ega va bu cheklovlar masalaning mohiyatiga bog'liq emas: ular to’rdagi neyronlarning nechta qatlami bo’lishiga bog'liq bo’ladi. Barcha neyron to’rlari ichida RNT potensial ravishda cheklanmagan murakablikdagi masalalarni echishga o’rgaishi mumkin, masalan, ixtiyoriy vaqtdagi davomidagi ba'zi oldingi kuzatuvlarni qisqa muddatli xotiraga saqlashni o’rgangan holda potentsial cheksiz murakkablikdagi muammolarni hal qilishni o'rganishi mumkin.
RNT yordamida hattoki statik obrazlarni anglash masalasini hal qilish odatda osonroq ekanligini ko'rsatadigan misol ko’raylik. Odatda, agar tasvirni tasniflash zarur bo’lganda to’g’ri bog’lanishli to’rning chiqishida "ha, bu yerda sigir bor" yoki "yo'q, bu yerda sigir yo'q" qarori bo’lishiga o’ratiladi.
Nazariy isbotlanganki, ixtiyory bo’lakli-uzluksiz funksiyayni neyronlarning bitta yashirin qatlami yetarli bo’ladi. Demak, neyrn to’rini amal qilishi uchun bitta yashirin qatlam yetarli, to’r chuqurligi muhim emas, yani ushbu qatlamda nechta tugun bo’lishi muhim emas.
Amalda ma'lum bo'lishicha, agar to’rga yanada ko'p qatlamlarni qo'shilsa, ko'pgina masalalarni hal qilish osonroq bo'ladi va agar to’rga rekurent bog’lanishlarni qo’shilsa to'g'ri bog’lanishli to’rlar echa olmaydigan boshqa masalalarni echish mumkin bo’lar ekan.
Masala ko’raylik. Paritet (juftlik) bitini aniqlash masalasi. Kirish bitlar oqimidir: 1, 0, 0, 1, 1, 0, 1 va hokazo, jami o'n bit. Nol va birlarning 2¹⁰ ta mumkin bo'lgan kombinatsiyasi, ya'ni jami 1024 ta variant mavjud va neyron to’rini ularni to'g'ri tanib olishni o'rgatish mumkin. Bunday to’r o'nta kirish neyroni, o’nlab neyronlardan iborat yashirin qatlami (yoqorida aytilgandek, bitta qatlam etarli) va bitta chiqish neyroni bo'ladi: ha (1) - agar qatordagi birlar soni juft va 0 - birlar soni toq bo'lsa. Bunday to’r o'rgatish uchun juda ko'p o’raguvchi berilganlarni taqdim etish zarur bo’ladi.
Xuddi shu natijani oldingi misoldagi kabi yuzlab bo’glanishlar bilan emas, balki faqat beshta bog’laishga ega kichgina RNT bilan osonroq olish mumkin. To’r faqat bitta kirish neyronga ega bo’lib, unga 1, 0, 1, 1 va hokazo bitlar uzatiladi. Bundan tashqari, bunday to’r doimo faol siljish neyroniga va o'ziga-o’zi ulangan bitta yashirin neyronga, shuningdek, yashirin neyrondan va siljish neyrondan berilganlarni qabul qiluvchi bitta chiqish neyroniga ega bo'lishi kerak.
Demak, bunday to’rda 5 ta vazn bor bo’lib, u paritet masalasini echishi kerak. Bu ishni amalga oshirish juda sodda. To’r faqatgina qiymatlarni invertlashga o’rganishi kerak bo’ladi: agar kirishda 1 kelsa, yashirin neyron holati teskarisiga almashishi kerak bo’laadi. Agar uning holati 1 bo’lsa, u 0 qiymatini qabul qilishi kerak va aksincha 0 yoki 0 yaqin bo’lsa u 1 yoki 1 yaqin songa almashishi kerak bo’ladi.
O’rganish jarayonida juda sodda algoritmdan foydalanish mumkin bo’ladi. Masalan, Bog’lanishlar vaznlarining boshlang’ich qiymati sifatida -10 dan 10 gacha sonlarni berish orqali to’r kirishiga 7 bitli, 10 bitli va 21 bitli 3 ta ketma-ketliklarni berib o’rgatish mumkin bo’ladi.
Shunday qilib, kichik RNT kattaroq hajmdagi to’g’ri bog’lanishli to’r bilan bir xil masalalarni va boshqa murakkab masalalarni hal qilishi mumkin. Yoqoridagi misoldagi to’g’ri bog’lanishli to’rda kirishga 10 bitdan katta ketma-ketligi bo’lganda ishlamaydi, masalan, 11 bit, chunki u hech qachon bunday berilganlarga o’ranmagan. Biroq, RNT bu holatni juda oddiy va chiroyli ravishda yechadi. Bu RNTning to’g’ri bog’lanishli to’rlardan asosiy afzalliklarini ko'rsatadi.
Первым шагом к пониманию того, как работает глубокое обучение, является понимание различий между несколькими важными терминами.