Mustaqil ish Mavzu: Mashinaviy o`qitishni amalga oshirishda yuzaga keladigan xatoliklar Bajardi

Mustaqil ish

Mavzu: Mashinaviy o`qitishni amalga oshirishda yuzaga keladigan xatoliklar

Bajardi: Khalimov Javokhir Jamshidovich
Tekshirdi: S.Z.Polvonov

2022-2023y
Mashinaviy o`qitishni amalga oshirishda
yuzaga keladigan xatoliklar
MACHINE LEARNING QANDAY MUAMMOLAR UCHUN ?
• Juda ko`p qonun-qoidalar va shartlar talab qilinadigan muammolar.
• An`anaviy dasturlash usullari bilan yechim topib bo`lmaydigan muammolar.
• Doimiy o`zgaruvchan muammolar.
• Katta hajmdagi ma`lumotlardan yashirin ma`no va mazmun topishga to`g`ri keluvchi muammolar.
ML- O`QITISHTURLARI
• OFFLINE
• Ma`lumotlar bir martada beriladi
. • Nisbatan oson
• Ko`p resurs va vaqt talab qiladi.
• Yangi ma`lumtolar o`qitishni qayta boshlashga sabab bo`ladi.
• ONLINE
• Ma`lumotlar doimiy beriladi
. • Nisbatan tez va kam resurs talab qiladi
• Doimiy yangilanuvchi ma`lumotlar uchun.
• Xato ma`lumtolar modelni noto`g`ri ishlashiga sabab bo`ladi.
ML –QIYINCHILIKLARI
• Yetarli ma`lumotlar to`play olmaslik.
• Ma`lumotlar berilgan barcha holatlarni qamrab ololmasligi.
• Sifatsiz yoki xato ma`lumotlar
• Muammoga aloqasi yo`q parametrlar
ML-YUZAGA KELADIGAN MUAMMOLAR
• Overfiiting (haddan tashqari moslashish) Model o`qitish jarayonida ma`lumotlarga haddan tashqari moslashish natijasida yangi ma`lumotlarda katta xatolik bilan ishlaydi.
• Underfitting (umuman mos kelmaslik) Yuqoridagi muammoning aksi bo`lib berilgan masala uchun model juda ham soddaligi tufayli katta xatolik bilan ishlaydi.
ML -QIYINCHILIKLARI
• Yetarli ma`lumotlar to`play olmaslik.
• Ma`lumotlar berilgan barcha holatlarni qamrab ololmasligi.
• Sifatsiz yoki xato ma`lumotlar
• Muammoga aloqasi yo`q parametrlar
TRAIN & TEST & VALIDATION
• Train set(o`qitish to`plami)- modelni o`qitish uchun.
• Test set(sinash to`plami)- modelni sinash uchun.
• Validation set(tekshirish/tasdiqlash)- natijalarni tasdiqlash uchun.
Tekshirish to'plami(o`qitish to`plami) va test to'plami o'rtasidagi asosiy farq ularning maqsadidir. Tasdiqlash to'plami(o`qitish to`plami) o'quv bosqichida modelning yangi, ko'rilmagan ma'lumotlar bo'yicha ishlashini baholash va giperparametrlarni sozlash uchun ishlatiladi, test to'plami esa model o'qitilgan va tasdiqlanganidan keyin modelning yakuniy ishlashini baholash uchun ishlatiladi. yangi, ko'rilmagan ma'lumotlar uchun.
MACHINE LEARNING MUAMOLARI
•REGRESSIYA •CLASSIFIKATSIYA
•KLASTERLASH •DIMENSIONALITY REDUCTION
Regressiyada maqsad ma'lumotlarga mos keladigan eng yaxshi munosabatni topish orqali kirish o'zgaruvchilari va chiqish o'zgaruvchilari o'rtasidagi xaritalashni o'rganishdir. Bu munosabat odatda tenglama sifatida ifodalanadi, undan yangi, ko'rilmagan ma'lumotlar bo'yicha bashorat qilish uchun foydalanish mumkin.
Classification(Tasniflash) - bu nazorat qilinadigan o'quv muammosining bir turi bo'lib, maqsad bir yoki bir nechta kirish o'zgaruvchilari asosida toifali chiqish o'zgaruvchisini bashorat qilish, shuningdek xususiyatlar yoki bashorat qiluvchilar sifatida ham tanilgan. Chiqish o'zgaruvchisi rang, shakl yoki sinf yorlig'i kabi har qanday kategorik qiymat bo'lishi mumkin. Tasniflashda maqsad ma'lumotlardagi turli sinflarni ajratib turadigan eng yaxshi qaror chegarasini topish orqali kirish o'zgaruvchilari va chiqish o'zgaruvchilari o'rtasidagi xaritalashni o'rganishdir. Ushbu qaror chegarasi odatda algoritm sifatida ifodalanadi, undan yangi, ko'rinmaydigan ma'lumotlarni tasniflash uchun foydalanish mumkin.
Clustering(Klasterlash )- nazoratsiz ta'lim muammosining bir turi bo'lib, maqsad o'xshash ma'lumotlar nuqtalarini ularning o'xshashligi yoki bir-biridan uzoqligi asosida klasterlarga guruhlashdir. Algoritmga o'rganish uchun etiketli ma'lumotlar beriladigan nazorat ostida o'rganishdan farqli o'laroq, klasterlashda algoritmga yorliqsiz ma'lumotlar beriladi va o'zo'zidan o'xshashliklarni aniqlashi kerak. Klasterlashda algoritm birinchi navbatda ikkita ma'lumot nuqtasi o'xshash bo'lishi nimani anglatishini aniqlashi kerak, bu odatda ular orasidagi masofa ko'rsatkichini hisoblash orqali amalga oshiriladi. Keyin algoritm turli klasterlar orasidagi farqlarni maksimal darajada oshirishga harakat qilib, ushbu xususiyat maydonida bir-biriga eng yaqin bo'lgan ma'lumotlar nuqtalarini birlashtiradi. Olingan klasterlar vizual tarzda ko'rsatilishi va keyingi tahlil yoki qaror qabul qilish uchun ishlatilishi mumkin
O'lchovni qisqartirish - bu ma'lumotlar to'plamidagi o'zgaruvchilar yoki xususiyatlar sonini kamaytirish, shu bilan birga iloji boricha ko'proq tegishli ma'lumotlarni saqlash jarayoni. Bu algoritmlarning ishlashini yaxshilash va ortiqcha moslashish xavfini kamaytirish uchun mashinani o'rganishda qo'llaniladigan keng tarqalgan texnikadir.
• O'lchamlarni kamaytirishning ikkita asosiy usuli mavjud:
• -> Xususiyatlarni tanlash: Bu ko'rib chiqilayotgan muammoga eng mos keladigan asl xususiyatlarning bir qismini tanlashni o'z ichiga oladi. Bu korrelyatsiya tahlili, o'zaro ma'lumot yoki statistik testlar kabi turli usullar yordamida amalga oshirilishi mumkin.
• -> Xususiyatlarni ajratib olish: Bu asl xususiyatlarni ma'lumotlardagi eng muhim ma'lumotlarni to'playdigan yangi xususiyatlar to'plamiga aylantirishni o'z ichiga oladi. Buni asosiy komponentlar tahlili (PCA), mustaqil komponentlar tahlili (ICA) yoki t-tarqatilgan stokastik qo'shni joylashtirish (t-SNE) kabi usullar yordamida amalga oshirish mumkin.