Underfitting va Owerfitting

Mashinali o’qitishda Underfitting va Owerfitting muammolari Regularization (moslashtirish,sozlash)

Ma’ruza rejasi

• Underfitting va owerfitting tushunchasi
• Haddan tashqari mos keladiganlarga murojaat qilish
• Cost funksiyada sozlash parametrini qo’shish
• Chiziqli regressiyada sozlash masalasi
• Logistik regressiyada sozlash masalasi
• Sozlash parametrini tanlash

Misol: Chiziqli regressiya (Uy narxi)
Overfitting: Agar bizda juda ko'p xususiyatlar mavjud bo'lsa, o'rganilgan Model training to'plamiga juda mos kelishi mumkin ( ), ammo yangi misollarni aniqlashda xatolik kata bo’ladi.
Narxi
Yuzasi
Narxi
Yuzasi
Narxi
Yuzasi
Misol: Logistik regressiya
( = sigmoid funksiyasi)
x1
x2
x1
x2
x1
x2
Misol: Logistik regressiya
( = sigmoid funksiyasi)
x1
x2
x1
x2
x1
x2
Bias va Variance tushunchalari.
Bias - bu bizning modelimizning o'rtacha bashorati va biz taxmin qilmoqchi bo'lgan to'g'ri qiymat o'rtasidagi farq. Yuqori darajadagi model o'quv ma'lumotlariga juda kam e'tibor beradi va modelni soddalashtiradi. Bu har doim o'qitish va test ma'lumotlarida yuqori xatolarga olib keladi.
Variance - bu ma'lumotlarning ma'lum bir nuqtasi yoki qiymati uchun modelni bashorat qilishning o'zgaruvchanligi, bu bizga ma'lumotlarning tarqalishini bildiradi. Yuqori variance model o'quv ma'lumotlariga katta e'tibor beradi va ilgari ko'rmagan ma'lumotlarni umumlashtirmaydi. Natijada, bunday modellar o'quv ma'lumotlarini juda yaxshi bajaradi, ammo test ma'lumotlarida yuqori xato ko'rsatkichlariga ega.
Bias va Variance tushunchalari.
Haddan tashqari mos keladigan model (Owerfitting)
Narxi
Yuzasi
Uy yuzasi
Yotoqxona soni
Qavatlar soni
Uy yoshi
Havlining yuzasi
Oshxona yuzasi
Haddan tashqari mos keladigan model (Owerfitting)
Nima qilish mumkin:

• Xususiyatlar soniga ta’sir qilish.
• Qo’lda xususiyatlarni tanlash.
• Modelni tanlash (kurs davomida ko’ramiz).
• Regularization(Mostlashtirish, sozlash).
• Barcha xususiyatlarni qoldirish, lekin parametrlarni kuchini o’zgartirish .
• Ko’p xususiyatlar bilan ishlash modelni qurishda goydali hisoblanadi. Ular ni aniqroq bashorat qilishda hissa qo’shadi.

Cost funksiyada Regularization (Mostlashtirsh)

Taxmin qilish mumkin:
qiymatlarini kichiklashi orqali erishish mumkin
Narxi
Uy yuzasi
Narxi
Uy yuzasi
Parametrlar uchun kichik qiymatlar

• “Oddiyroq” gepoteza
• Haddan tashqari moslashishga kamroq moyil

Regularization(Mostlashtirish).
Uy-joy bo’yicha:

• Xususiyatlar:
• Parametrlar:

Regularization (Mostlashtirish).
Narxi
Uy yuzasi
Chiziqli regressiyada, minimum qilish uchun ni tanlash.
Agar biz ni yetarlicha kata tanlasak nima sodir bo’ladi?
( bu yerda nazarda tutulmoqda )

• Algoritm yaxshi ishlaydi; juda katta qilib sozlash , unga zarar yetkaza olmaydi.
• Algoritm ortiqcha moslik(owerfitting)ni yo'q qila olmaydi.
• Algoritm natijalarga mos kelmaydi(underfitting).
• Hatto o'quv ma'lumotlariga ham mos kelmaydi.

Chiziqli regressiyada, minimum qilish uchun ni tanlash
Narxi
Uy yuzasi
Agar biz ni yetarlicha kata tanlasak nima sodir bo’ladi?
( bu yerda deb nazarda tutulmoqda)

Chiziqli regressiyada Regularization (Mostlashtirsh)

Gradient descent
Takrorlash

Logistik regressiyada Regularization (Mostlashtirsh)

Logistik regressiyada sozlash (Regularization ).
Cost funksiyasi:
x1
x2
Gradient descent
Takrorlash

Foydalanilgan adabiyotlar

Aurelian Geron, Hands on Machine Learning with Scikit-Learn Keras&Tensorflow // Second edition Concepts, Tools, and Techniques to Build Intelligent Systems, 2019, 510 pages
https://www.geeksforgeeks.org/ml-types-learning-supervised-learning/ https://www.guru99.com/unsupervised-machine-learning.html https://www.w3schools.com/python/python_ml_linear_regression.asp https://www.w3schools.com/python/python_ml_multiple_regression.asp https://www.w3schools.com/python/python_ml_polynomial_regression.asp https://www.mathworks.com/help/stats/regress.html