Mashinalarni o'rganishda maqsadli funktsiyani taxmin qilish

Mashinani o'rganishda Overfitting
Overfitting o'quv ma'lumotlarini juda yaxshi modellashtiradigan modelga ishora qiladi.
Model o'quv ma'lumotlaridagi tafsilot va shovqinni o'rganganda, bu modelning yangi ma'lumotlarga ishlashiga salbiy ta'sir ko'rsatadigan darajada haddan tashqari moslashish sodir bo'ladi. Bu shuni anglatadiki, o'quv ma'lumotlaridagi shovqin yoki tasodifiy tebranishlar model tomonidan tushunchalar sifatida olinadi va o'rganiladi. Muammo shundaki, bu tushunchalar yangi ma'lumotlarga taalluqli emas va modellarni umumlashtirish qobiliyatiga salbiy ta'sir qiladi.
Maqsadli funktsiyani o'rganishda ko'proq moslashuvchanlikka ega bo'lgan parametrik va chiziqli bo'lmagan modellar bilan haddan tashqari moslashish ehtimoli ko'proq. Shunday qilib, ko'plab parametrik bo'lmagan mashinani o'rganish algoritmlari, shuningdek, model qanchalik tafsilotlarni o'rganishini cheklash va cheklash uchun parametrlar yoki usullarni o'z ichiga oladi.
Masalan, qaror daraxtlari mashinani o'rganishning parametrik bo'lmagan algoritmi bo'lib, u juda moslashuvchan va o'quv ma'lumotlarini haddan tashqari moslashtiradi. Bu muammoni daraxtni o'rgangandan so'ng, o'zi olgan tafsilotlarning bir qismini olib tashlash uchun kesish orqali hal qilish mumkin.


Mashinani o'rganishda Underfitting
Underfitting - bu o'quv ma'lumotlarini modellay olmaydigan yoki yangi ma'lumotlarni umumlashtira olmaydigan modelni anglatadi.
Noto'g'ri mashinani o'rganish modeli mos model emas va aniq bo'ladi, chunki u o'quv ma'lumotlarida yomon ishlashga ega.
Noto'g'ri ishlash ko'pincha muhokama qilinmaydi, chunki yaxshi ishlash ko'rsatkichini hisobga olgan holda aniqlash oson. Buning chorasi - davom etish va alternativ mashinani o'rganish algoritmlarini sinab ko'rishdir. Shunga qaramay, u haddan tashqari moslashish muammosiga yaxshi qarama-qarshilikni ta'minlaydi.


Mashina o'rganishda yaxshi moslik
Ideal holda, siz mos keladigan va ortiqcha moslamalar o'rtasidagi yoqimli nuqtada modelni tanlashingiz kerak.
Bu maqsad, lekin amalda amalga oshirish juda qiyin.
Ushbu maqsadni tushunish uchun biz vaqt o'tishi bilan mashinani o'rganish algoritmining ishlashini ko'rib chiqishimiz mumkin, chunki u o'quv ma'lumotlarini o'rganmoqda. Biz o'quv ma'lumotlari bo'yicha mahoratni ham, o'quv jarayonidan ushlab qolgan test ma'lumotlar to'plamidagi mahoratni ham rejalashtirishimiz mumkin.
Vaqt o'tishi bilan, algoritm o'rganganidek, o'quv ma'lumotlaridagi model uchun xato kamayadi va test ma'lumotlar to'plamidagi xatolik ham kamayadi. Agar biz juda uzoq vaqt mashq qilsak, o'quv ma'lumotlar to'plamidagi samaradorlik pasayishda davom etishi mumkin, chunki model haddan tashqari mos keladi va mashg'ulot ma'lumotlar to'plamidagi ahamiyatsiz tafsilotlar va shovqinlarni o'rganadi. Shu bilan birga, test to'plamining xatosi yana ko'tarila boshlaydi, chunki modelning umumlashtirish qobiliyati pasayadi.
Qiziqarli nuqta - bu test ma'lumotlar to'plamidagi xatolik kuchayishidan oldingi nuqta, bu erda model o'quv ma'lumotlar to'plamida ham, ko'rinmas test ma'lumotlar to'plamida ham yaxshi mahoratga ega.
Siz ushbu tajribani o'zingiz yoqtirgan mashinani o'rganish algoritmlari bilan bajarishingiz mumkin. Amalda bu ko'pincha foydali usul emas, chunki test ma'lumotlar to'plamidagi mahoratdan foydalangan holda mashg'ulot uchun to'xtash nuqtasini tanlash test to'plami endi "ko'rinmas" yoki mustaqil ob'ektiv o'lchov emasligini anglatadi. Ushbu ma'lumotlar haqida ba'zi ma'lumotlar (ko'p foydali bilimlar) o'quv jarayoniga sizib ketgan.
Amalda foydali nuqtani topishga yordam beradigan ikkita qo'shimcha usul mavjud: qayta namuna olish usullari va tekshirish ma'lumotlar to'plami.