5-ma’ruza. Mashinali o’qitishda chiziqli regressiya masalasi. Bir o’zgaruvchili chiziqli regressiya

9-ma’ruza. O‘qitish jarayonida regulyarizatsiyalash

Reja:
1.Regulyarizatsiyalash tushunchasi.
2. Regulyarizatsiya uchun ishlatiladigan ba'zi usullar
3. Neyron tarmoqlarni regulyarizatsiyalash
4. Logistik regressiya va uni tartibga solish

Tayanch iboralar

Regulyarizatsiya (regularization), teskari vazifalar, obyekt, jarima,hal qiluvchi funksiya, neyron tarmoqlar, L1-regulyator, L2-regulyator, ampirik xavf, ampirik taqsimot,tarmoqni yupatish, o'quv ma'lumotlarining shovqini, qayta o'qitish, qayta jihozlash, klassifikator, baholash funktsiyasi, Dropout usuli, tasvirni aylantirish, xarajat funkciyasi, optimallashtirish, Hessen matritsasi, sezuvchanligi, dispersiya, piksel, neyron kodlash tarmog'i, belgilar tizimi, obyektlarni tanib olish, mantiqiy, uzluksiz, ehtimolli, nominal, algoritm (algorithm), neyrotarmoq (neuralnetwork).

9.1. Regulyarizatsiyalash tushunchasi

Regulyarizatsiya (англ. regularization) (tartibga solish)- statistikada, mashinani o'rganishda, teskari vazifalar nazariyasida-noto'g'ri vazifani hal qilish yoki qayta o'qitishni oldini olish uchun vaziyatga qo'shimcha cheklovlar qo'shish usuli. Ko'pincha, bu ma'lumot modelning murakkabligi uchun jarima shakliga ega.

Regulyarizatsiya shuningdek, neyron tarmoqlarda ham juda katta tarmoq og'irliklari va qayta o'qitish bilan kurashish uchun ishlatiladi. Biroq, bu holda, L1-regulyator yordamida koeffitsientlarni nollash chiziqli modellarda bo'lgani kabi, "belgilarni tanlash" ma'nosini ham o'z ichiga olmaydi. Afsuski, regulyarizatsiya parametrlarning sonini kamaytirmaydi va tarmoq tuzilishini soddalashtirmaydi.

Neyron tarmog'i uchun ampirik xavfga nisbatan jazo muddatini qo'shib qo'yishdan tashqari, qayta o'qitishga qarshi kurashning yana bir usuli — tarmoqni yupatish (ingliz tili. xato funktsiyasi o'zgarmaydi bo'lsa, tarmoq yanada soddalashtirish mumkin — qoida asosida, tarmoq soddalashtirish qaysi davomida dropout).