2-amaliy ishi Linear regression(chiziqli regressiya)

Chiziqli regressiya chizig'i
Bog'liq va mustaqil o'zgaruvchilar o'rtasidagi munosabatni ko'rsatadigan chiziqli chiziq regressiya chizig'i deb ataladi. Regressiya chizig'i ikki turdagi munosabatlarni ko'rsatishi mumkin:
Ijobiy chiziqli munosabatlar:
Agar qaram o'zgaruvchi Y o'qi bo'yicha ortib borsa va mustaqil o'zgaruvchi X o'qi bo'yicha ortib ketsa, bunday munosabat musbat chiziqli munosabat deb ataladi.

Salbiy chiziqli munosabat:
Agar bog'liq o'zgaruvchi Y o'qida kamaysa va mustaqil o'zgaruvchi X o'qida ortib ketsa, bunday munosabat manfiy chiziqli munosabat deyiladi.

Eng yaxshi mos keladigan chiziqni topish
Chiziqli regressiya bilan ishlaganda, bizning asosiy maqsadimiz eng yaxshi mos chiziqni topishdir, ya'ni bashorat qilingan qiymatlar va haqiqiy qiymatlar o'rtasidagi xatolik minimallashtirilishi kerak. Eng yaxshi mos keladigan chiziq eng kam xatoga ega bo'ladi.
Og'irliklar uchun turli qiymatlar yoki chiziqlar koeffitsienti (a0, a1) boshqa regressiya chizig'ini beradi, shuning uchun biz eng yaxshi mos chiziqni topish uchun a0 va a1 uchun eng yaxshi qiymatlarni hisoblashimiz kerak, shuning uchun buni hisoblash uchun biz xarajatlar funktsiyasidan foydalanamiz.
Xarajat funktsiyasi –

• 
  Og'irliklar yoki chiziqlar koeffitsienti uchun turli qiymatlar (a0, a1) turli xil regressiya chizig'ini beradi va xarajat funktsiyasi eng yaxshi mos keladigan chiziq uchun koeffitsient qiymatlarini baholash uchun ishlatiladi.
  
• 
  Xarajatlar funktsiyasi regressiya koeffitsientlari yoki og'irliklarini optimallashtiradi. Bu chiziqli regressiya modeli qanday ishlashini o'lchaydi.
  
• 
  Kiritilgan o'zgaruvchini chiqish o'zgaruvchisi bilan taqqoslaydigan xaritalash funktsiyasining aniqligini topish uchun xarajatlar funktsiyasidan foydalanishimiz mumkin. Ushbu xaritalash funktsiyasi Gipoteza funktsiyasi sifatida ham tanilgan.
  

Chiziqli regressiya uchun biz o'rtacha kvadrat xato (MSE) xarajat funktsiyasidan foydalanamiz, bu taxmin qilingan qiymatlar va haqiqiy qiymatlar o'rtasida sodir bo'lgan kvadratik xatoning o'rtacha qiymati. Buni quyidagicha yozish mumkin: Yuqoridagi chiziqli tenglama uchun MSE hisoblanishi mumkin

N=Kuzatuvlarning umumiy soni
Yi = Haqiqiy qiymat
(a1xi+a0)= Bashorat qilingan qiymat.
Qoldiqlar: Haqiqiy qiymat va taxmin qilingan qiymatlar orasidagi masofa qoldiq deb ataladi. Agar kuzatilgan nuqtalar regressiya chizig'idan uzoqda bo'lsa, unda qoldiq yuqori bo'ladi va shuning uchun xarajatlar funktsiyasi yuqori bo'ladi. Agar tarqalish nuqtalari regressiya chizig'iga yaqin bo'lsa, unda qoldiq kichik bo'ladi va shuning uchun xarajatlar funktsiyasi.
Gradient tushishi:
Gradient tushishi xarajat funktsiyasining gradientini hisoblash orqali MSEni minimallashtirish uchun ishlatiladi. Regressiya modeli xarajat funktsiyasini kamaytirish orqali chiziq koeffitsientlarini yangilash uchun gradient tushishidan foydalanadi. Bu koeffitsient qiymatlarini tasodifiy tanlash orqali amalga oshiriladi va keyin minimal xarajatlar funktsiyasiga erishish uchun qiymatlarni iterativ ravishda yangilaydi.
Modelning ishlashi:
Muvofiqlik darajasi regressiya chizig'i kuzatuvlar to'plamiga qanday mos kelishini aniqlaydi. Turli modellar orasidan eng yaxshi modelni topish jarayoni optimallashtirish deb ataladi. Bunga quyidagi usullar bilan erishish mumkin: