Mavzu: Tanlov tushunchasi. Tanlovni yaratish, yig`ish va oldindan ishlov berish usullari

Mavzu: Tanlov tushunchasi. Tanlovni yaratish, yig`ish va oldindan ishlov berish usullari.

Reja

• Tanlov tushunchasi.
• Tanlovni yaratish.
• Tanlovni yig`ish va oldini olish.
• Xulosa.

Tanlov tushunchasi

Oldingi joriy nazoratimizda biz polinom regressiyasini ko`rib chiqdik. Python dasturini amalga oshirishda biz 4-tartibli polinomni tanladik. Biroq, ehtimol M = 4 polinom tartibi uchun "eng yaxshi" tanlov emas - lekin "eng yaxshi" tanlov nima va uni qanday topish mumkin?
Birinchidan, polinomimizning tartibi o`quv jarayoni boshlanishidan oldin o`rnatiladi va biz modelimizdagi ushbu maxsus parametrlarni "giperparametrlar" deb ataymiz. Ikkinchidan, ushbu giperparametrlarning qiymatlarini aniqlash jarayoni giperparametrlarni optimallashtirish deb ataladi va model tanlashning bir qismidir. Uchinchidan, oldingi postda aytib o`tilganidek, mashinani o`rganish asosan bashorat qilish bilan bog`liq, ya`ni biz "eng yaxshi" modelni kelajakdagi ma`lumotlar bo`yicha eng yaxshisini umumlashtiradigan model sifatida aniqlaymiz, ya`ni qaysi model ma`lumotlar bo`yicha eng yaxshi ishlaydi` ta`lim olganmisiz?
Buni aniqlash uchun biz odatda qandaydir baholash ko`rsatkichini o`ylab topmoqchimiz. Keyin biz o`quv ma`lumotlar to`plamini 3 qismga ajratamiz: trening, tekshirish (ba`zan ishlab chiqish deb ataladi) va test ma`lumotlar to`plami. Keyin biz o`quv ma`lumotlar to`plamida modelimizni o`rgatamiz, tasdiqlash ma`lumotlar to`plamida modelni tanlaymiz va test ma`lumotlar to`plamida modelni yakuniy baholashni amalga oshiramiz. Shunday qilib, biz eng kam umumlashtirish xatosi bo`lgan modelni aniqlashimiz mumkin. Umumlashtirish xatosi modelning ko`rinmaydigan ma`lumotlarga, ya`ni model o`rganilmagan ma`lumotlarga nisbatan ishlashini anglatadi.
Polinomli regressiya misoliga qaytaylik. Quyidagi rasmda men oldingi postdagi maʼlumotlar nuqtalarini haqiqiy funksiya va 4 xil tartibdagi 4 ta taxminiy koʻphad bilan birga chizdim: 2, 4, 6 va 8. Polinomning tartibini oshirganimizda, biz modelimizning murakkabligini oshiring, bu taxminan modeldagi parametrlar soni bilan bog`liq deb ko`rish mumkin. Shunday qilib, bizning modelimiz qanchalik ko`p parametrlarga ega bo`lsa, u shunchalik murakkabroq.
Polinomning tartibi (modelning murakkabligi) oshgani sayin, u barcha ma`lumotlar nuqtalaridan mukammal o`tib ketguncha ma`lumotlar nuqtalarini yaxshiroq yaqinlasha boshlaydi. Shunga qaramay, agar biz o`quv ma`lumotlar to`plamimizdagi ma`lumotlar nuqtalariga to`liq mos keladigan bo`lsak, bizning modelimiz juda yaxshi umumlashtirilmaydi, chunki ma`lumotlar mukammal emas; har doim bir oz shovqin bor, uni yuqorida ham ko`rish mumkin. Biz o`z modelimizni o`quv ma`lumotlar to`plamiga to`liq moslashtirganimizda, biz haddan tashqari moslashayotganimizni aytamiz.
Polinomning tartibi (modelning murakkabligi) oshgani sayin, u barcha ma`lumotlar nuqtalaridan mukammal o`tib ketguncha ma`lumotlar nuqtalarini yaxshiroq yaqinlasha boshlaydi. Shunga qaramay, agar biz o`quv ma`lumotlar to`plamimizdagi ma`lumotlar nuqtalariga to`liq mos keladigan bo`lsak, bizning modelimiz juda yaxshi umumlashtirilmaydi, chunki ma`lumotlar mukammal emas; har doim bir oz shovqin bor, uni yuqorida ham ko`rish mumkin. Biz o`z modelimizni o`quv ma`lumotlar to`plamiga to`liq moslashtirganimizda, biz haddan tashqari moslashayotganimizni aytamiz.
Yuqoridagi rasmda buyurtma 8 ga o`rnatilganda (M = 8), biz, albatta, haddan tashqari moslashamiz. Aksincha, M=2 bo`lsa, biz mos kelmasligimiz haqida bahslashishimiz mumkin, ya`ni bizning modelimiz murakkabligi bizning ma`lumotlarimizdagi "variatsiyaning boyligini qo`lga kiritish" uchun etarlicha yuqori emas. Boshqacha qilib aytganda, u ma`lumotlardagi naqshlarni tanlamaydi.
Yuqoridagi rasmda buyurtma 8 ga o`rnatilganda (M = 8), biz, albatta, haddan tashqari moslashamiz. Aksincha, M=2 bo`lsa, biz mos kelmasligimiz haqida bahslashishimiz mumkin, ya`ni bizning modelimiz murakkabligi bizning ma`lumotlarimizdagi "variatsiyaning boyligini qo`lga kiritish" uchun etarlicha yuqori emas. Boshqacha qilib aytganda, u ma`lumotlardagi naqshlarni tanlamaydi.