Standartizasiya va normalizasiya

Standartizasiya va normalizasiya
Ahamiyat bersangiz, bizdagi ustunlardagi qiymatlar diapazoni turlicha, masalan:

• 
  housing_median_age - 0-50 oralig'ida
  
• 
  total_rooms esa 6-39000 oralig'ida
  
• 
  median_income - 0.5-15 oralig'ida
  

Bularning hammasi kelgusi hisob kitoblarda algoritmlarning to'gri ishlashiga ta'sir ko'rsatadi.
Buning oldini olish uchun barcha ustundagi qiymatlarni bir diapazonga keltirib olish tavsiya qilinadi.
Buning uchun ML da min-max normallashtirish (min-max scaling) yoki standartlash (standartization) qo'llaniladi.

Min-max scaling

Min-max scaling berilgan qiymatlarni 0-1 oralig'iga olib keladi.
Buning uchun biror ustundagi barcha qiymatlarning min (xmin����) va max (xmax����) qiymatlari topiladi. Keyin esa ustundagi har bir qiymat (x�) quyidagi formula asosida hisoblab chiqiladi:

Yuqoridagi vazifani bajarish uchun sklearn tarkibida maxsus MinMaxScaler obyekti bor. Keling, min-max scalingni bizdagi ma'lumotlarga qo'llab ko'ramiz:

Standard Scaler - standartlash

StandardScaler biroz boshqa usulda ishlaydi. Sonlarni standartlas hcuhn bizga berilgan ustun bo'yicha o'rta qiymat (μ�) va standart cheklanish (σ�) talab qilinadi. Har bir qatordag qiymat esa quydagicha hisoblanadi