51. O‘qituvchili o‘qitish (Supervised learning) algoritmlaridan chiziqli regressiyani kengroq yoritib bering

56. Ma’lumotlarga dastlabki ishlov berishda ma’lumot formati qanday ahamiyatga ega?
Modelni o'qitish uchun ma'lumotlar to'plamidan foydalanishdan oldin ma'lumotlarni qayta ishlash va tozalash amalga oshirilishi kerak. Xom ma'lumotlar ko'pincha noto'g'ri va ishonchsizdir va qiymatlarni nixda o'tkazib yuborish mumkin. Modellashtirishda bunday ma'lumotlardan foydalanish noto'g'ri natijalarga olib kelishi mumkin. Ushbu vazifalar jamoaning ma'lumotlarni qayta ishlash va tahlil qilish jarayonining bir qismi bo'lib, odatda kerakli dastlabki ishlov berishni aniqlash va rejalashtirish uchun foydalaniladigan ma'lumotlar to'plamini dastlabki tekshirishni o'z ichiga oladi. TDSP jarayoni bo'yicha batafsil ko'rsatmalar. guruh ma'lumotlarini qayta ishlash va tahlil holatida tasvirlangan tartibda.
Ma'lumotni oldindan qayta ishlash va tozalash vazifasi, masalan, o'quv ma'lumotlari, SQL, Hive va Azure Machine Learning Studio (klassik) kabi turli muhitlarda va R va Python kabi turli xil vositalar va tillarda bajarilishi mumkin. ma'lumotlarning qayerda saqlanishi va qanday formatlanganligiga qarab va hokazo. TDCT jarayoni iterativ xarakterga ega bo'lganligi sababli, bu vazifalar ish jarayonining turli bosqichlarida bajarilishi mumkin.
57. Ma’lumotlarga dastlabki ishlov berishda ma'lumotlarni tozalash qanday ahamiyatga ega?
Haqiqiy ma'lumotlar turli manbalar va jarayonlardan keyingi qayta ishlash uchun to'planadi. Ularda ma'lumotlar to'plamining sifatiga salbiy ta'sir ko'rsatadigan xatolar va buzilishlar bo'lishi mumkin. Bu erda ma'lumotlar sifati bilan bog'liq odatiy muammolar mavjud:

• 
  Tugallanmagan: maʼlumotlarda atributlar yoʻq yoki qiymatlar yoʻq.
  
• 
  Shovqin: Ma'lumotlarda noto'g'ri yozuvlar yoki chetlab o'tishlar mavjud.
  
• 
  Mos kelmaslik: Ma'lumotlarda ziddiyatli yozuvlar yoki nomuvofiqliklar mavjud.
  

Yaxshi ma'lumotlar yaxshi bashoratli modellarni yaratish uchun zaruriy shartdir. “Axlat ichkarida, chiqindidan tashqarida” vaziyatining oldini olish va ma'lumotlar sifatini va natijada model samaradorligini oshirish uchun ma'lumotlarning sog'lig'ini kuzatib borish, muammolarni imkon qadar tezroq aniqlash va nima qilish kerakligini hal qilish kerak. ma'lumotlarni oldindan qayta ishlash va tozalash uchun harakatlar kerak.