Qabul qildi: Boytemirov A

O’ZBEKISTON RESPUBLIKASI AXBOROT TEXNOLOGIYALARI VA KOMMUNIKATSIYALARINI RIVOJLANTIRISH VAZIRLIGI

MUHAMMAD AL-XORAZMIY NOMIDAGI TOSHKENT AXBOROT TEXNOLOGIYALARI UNIVERSITETI QARSHI FILIALI

KI FAKULTETI

DI 12-19 GURUH
TALABASINING
Dasturiy ta'minot loyihalarini boshqarish
FANIDAN TAYYORLAGAN
Mustaqil ishi-3

Bajardi: Shodmonov J.

Qabul qildi: Boytemirov A.

Mavzu: Regressiya algoritmlari.

Mashinalarni o'rganish (ML) kelgusi sohalarda ko'payishi mumkin bo'lgan sanoat ilovalarining keng doirasiga ega. Mashina o'rganish bo'yicha global bozor 2027 yilga kelib 117 milliard dollarga yetishi kutilmoqda, bu esa ta'sirchan CAGR (Murakkab yillik o'sish sur'ati) 39% ni tashkil qiladi. Yangi boshlanuvchilar va texnologiya ishqibozlari ML sanoatida malaka oshirish va muvaffaqiyatli martaba qurish uchun Machine Learning tushunchalari haqida bilishlari kerak. Machine Learning-da regressiya algoritmlari juda ko'p foydalanish holatlariga ega muhim tushunchadir.
Kelajakdagi qiymatlar Machine Learning-da regressiya algoritmlari yordamida bashorat qilinadi. Kirish ma'lumotlari/tarixiy ma'lumotlar regressiya yordamida kelajakdagi qiymatlarning keng doirasini bashorat qilish uchun ishlatiladi. ML-dagi yorliq maqsadli o'zgaruvchi (prognoz qilinadigan) sifatida aniqlanadi va regressiya yorliq va ma'lumotlar nuqtalari o'rtasidagi munosabatni aniqlashga yordam beradi. Regressiya - bu yorliqlar va ma'lumotlar nuqtalari o'rtasidagi bashoratli munosabatlarni xaritalashda yordam beradigan MLda nazorat qilinadigan o'rganish turi. MLda regressiya algoritmlarining eng yaxshi turlari chiziqli, polinom, logistik, bosqichma-bosqich va boshqalardir. 

1. 
   Chiziqli regressiya
   
2. 
   Ridge regressiyasi
   
3. 
   Neyron tarmoq regressiyasi 
   
4. 
   Lasso regressiyasi 
   
5. 
   Qaror daraxtining regressiyasi 
   
6. 
   Tasodifiy o'rmon
   
7. 
   KNN modeli 
   
8. 
   Vektorli mashinalarni qo'llab-quvvatlash (SVM)
   
9. 
   Gaus regressiyasi
   
10. 
    Polinomli regressiya
    

1) Chiziqli regressiya
Bu Machine Learning-da eng ko'p ishlatiladigan regressiya algoritmlaridan biridir. Chiqaruvchi o'zgaruvchilarni (kelajakdagi qiymatlarni) bashorat qilish uchun ma'lumotlar to'plamidan muhim o'zgaruvchi tanlanadi. Chiziqli regressiya algoritmi teglar uzluksiz bo'lsa, masalan, aeroportdan kunlik reyslar soni va hokazolardan foydalaniladi. Chiziqli regressiyaning ifodalanishi y = b*x + c.
Yuqoridagi tasvirda "y" mustaqil o'zgaruvchi, "x" esa bog'liq o'zgaruvchidir. Chiziqli regressiyani chizganingizda, bizni chiqish o'zgaruvchilari bilan ta'minlaydigan chiziqning qiyaligi "b" deb nomlanadi va "c" uning kesishishi hisoblanadi. Chiziqli regressiya algoritmlari kirish va chiqish o'rtasida chiziqli bog'liqlik mavjudligini taxmin qiladi. Agar chiziqli regressiyada bog'liq va mustaqil o'zgaruvchilar bir qatorda chizilmagan bo'lsa, unda
ishlab chiqarishda yo'qotish bo'ladi. Chiziqli regressiyada ishlab chiqarishdagi yo'qotishni quyidagicha hisoblash mumkin:
Yo'qotish funksiyasi: (Prognozlashtirilgan chiqish - haqiqiy chiqish) ² .
2) Ridge regressiyasi
Ridge Regression - Machine Learning-da keng qo'llaniladigan yana bir chiziqli regressiya algoritmi. Agar natijani bashorat qilish uchun faqat bitta mustaqil o'zgaruvchi ishlatilsa, u chiziqli regressiya ML algoritmi deb ataladi. ML mutaxassislari Ridge regressiyasini afzal ko'rishadi, chunki u chiziqli regressiyada uchraydigan yo'qotishlarni kamaytiradi (yuqorida muhokama qilingan). OLS (Oddiy eng kichik kvadratlar) o'rniga chiqish qiymatlari tizma regressiyasida tizma baholovchi tomonidan bashorat qilinadi. Yuqorida muhokama qilingan chiziqli regressiya chiqish qiymatlarini bashorat qilish uchun OLS dan foydalanadi. 
ML modelining murakkabligini tizma regressiyasi orqali ham kamaytirish mumkin. Shuni ta'kidlash kerakki, tizma regressiyasida barcha koeffitsientlar kamaymaydi, lekin boshqa modellarga nisbatan koeffitsientlarni sezilarli darajada kamaytiradi. Tizma regressiyasi quyidagicha ifodalanadi: 
y = Xb + s, 
Bu erda 'y' N*1 vektori, bog'liq ma'lumotlar nuqtasi/o'zgaruvchisi kuzatuvlarini belgilaydi va 'X' - regressorlar matritsasi. 'b' - regressiya koeffitsientlaridan tashkil topgan N*1 vektor va 's' - xatolar vektori (N*1). Ridge algoritmi MLdan tashqari IT mutaxassislari tomonidan Data Mining-da regressiya uchun ham qo'llaniladi. 
3) Neyron tarmoq regressiyasi 
Neyron tarmoqlarning bashorat/taxminlarni amalga oshirishdagi kuchidan barchangiz xabardor bo'lishingiz kerak. Neyron tarmog'idagi har bir tugun kirishlar to'plami asosida tugunning chiqishini belgilaydigan tegishli faollashtirish funktsiyasiga ega. Oxirgi faollashtirish funktsiyasi neyron tarmoqni regressiya modeliga o'zgartirish uchun manipulyatsiya qilinishi mumkin. MLda neyron tarmoqlarni qurish uchun mos python kutubxonasi bo'lgan "Keras" dan foydalanish mumkin. 
Neyronning chiqishi neyron tarmog'ining regressiyasida turli qiymatlarga moslashtiriladi, bu esa chiziqli bo'lmasligini ta'minlaydi. Neyron tarmoq regressiyasi yordamida chiqishni bashorat qilish uchun bitta parametr yoki bir qator parametrlarni tanlashingiz mumkin. Neyronlar (neyron tarmog'ining chiqishlari har bir neyron bilan bog'liq og'irlik bilan bir qatorda bir-biri bilan yaxshi bog'langan. Yaxshi bog'langan neyronlar kelajakdagi qiymatlarni bashorat qilishga yordam beradi, shuningdek, bog'liq va mustaqil o'zgaruvchilar o'rtasidagi munosabatlarni xaritada ko'rsatadi. 
4) Lasso regressiyasi 
Lasso (Eng kam mutlaq qisqarish va tanlash operatori) regressiyasi yana bir keng tarqalgan chiziqli ML regressiyasidir (bitta kirish o'zgaruvchisi). Koeffitsient qiymatlari yig'indisi bashorat qilishda xatolarga yo'l qo'ymaslik uchun lasso regressiyasida jazolanadi. Lasso regressiyasidagi aniqlash koeffitsientlari "qisqarish" texnikasidan foydalangan holda nolga kamayadi. Regressiya koeffitsientlari turli xil ma'lumotlar to'plamlari bilan to'liq mos kelishi uchun lasso regressiyasi bilan kamayadi. ML-dan tashqari, lasso algoritmi ham Data Mining-da regressiya uchun ishlatiladi.
ML mutaxassislari berilgan ma'lumotlar to'plamida yuqori multikollinearlik mavjud bo'lganda lasso regressiya algoritmini tanlaydilar. Ma'lumotlar to'plamidagi multikollinearlik mustaqil o'zgaruvchilar bir-biriga juda bog'liqligini anglatadi va ma'lumotlarning kichik o'zgarishi regressiya koeffitsientlarining katta o'zgarishiga olib kelishi mumkin. Lasso algoritmining regressiyasi MLda prognozlash ilovalarini bashorat qilishda ishlatilishi mumkin. 
5) Qaror daraxtining regressiyasi 
Mashinani o'rganishda chiziqli bo'lmagan regressiya qarorlar daraxti regressiyasi yordamida amalga oshirilishi mumkin. Qarorlar daraxti regressiyasi algoritmining asosiy vazifasi ma'lumotlar to'plamini kichikroq to'plamlarga bo'lishdir. Ma'lumotlar to'plamining kichik to'plamlari muammo bayonotiga ulanadigan har qanday ma'lumot nuqtasi qiymatini chizish uchun yaratilgan. Ushbu algoritm tomonidan o'rnatilgan ma'lumotlarning bo'linishi qaror va barg tugunlariga ega bo'lgan qaror daraxtiga olib keladi. ML mutaxassislari ma'lumotlar to'plamida etarli o'zgarishlar bo'lmagan hollarda ushbu modelni afzal ko'rishadi. 
Ma'lumotlarning ozgina o'zgarishi ham keyingi qarorlar daraxti tuzilishida katta o'zgarishlarga olib kelishi mumkinligini bilish kerak. Shuningdek, qaror daraxti regressorlarini juda ko'p kesmaslik kerak, chunki bashorat qilish uchun etarli tugunlar qolmaydi. Bir nechta so'nggi tugunlarga (regressiya chiqish qiymatlari) ega bo'lish uchun qaror daraxti regressorlarini haddan tashqari kesib tashlamaslik kerak.
6) Tasodifiy o'rmon 
Tasodifiy o'rmon, shuningdek, Machine Learning-da chiziqli bo'lmagan regressiya uchun keng qo'llaniladigan algoritmdir. Qaror daraxti regressiyasidan (bitta daraxt) farqli o'laroq, tasodifiy o'rmon natijani bashorat qilish uchun bir nechta qaror daraxtlaridan foydalanadi. Tasodifiy ma'lumotlar nuqtalari berilgan ma'lumotlar to'plamidan tanlanadi (aytaylik, k ma'lumotlar nuqtasi tanlangan) va ular bilan ushbu algoritm orqali qarorlar daraxti quriladi. Keyin har qanday yangi ma'lumotlar nuqtasining qiymatini bashorat qiladigan bir nechta qaror daraxtlari modellashtiriladi. 
Bir nechta qaror daraxtlari mavjudligi sababli, bir nechta chiqish qiymatlari tasodifiy o'rmon algoritmi orqali bashorat qilinadi. Yakuniy natijani hisoblash uchun yangi ma'lumotlar nuqtasi uchun barcha taxmin qilingan qiymatlarning o'rtacha qiymatini topishingiz kerak. Tasodifiy o'rmon algoritmidan foydalanishning yagona kamchiligi shundaki, u o'qitish nuqtai nazaridan ko'proq kirishni talab qiladi. Bu ko'proq hisoblash quvvatini talab qilganligi sababli, ushbu algoritm ostida ko'rsatilgan qaror daraxtlarining ko'pligi tufayli sodir bo'ladi. 
7) KNN modeli 
KNN modeli Machine Learningda chiziqli bo'lmagan regressiya uchun keng qo'llaniladi. KNN (K Nearest Neighbours) Machine Learning-da chiziqli bo'lmagan regressiya uchun oson amalga oshirish yondashuviga amal qiladi. KNN yangi ma'lumotlar nuqtasi mavjud ma'lumotlar nuqtalariga o'xshash deb taxmin qiladi. Yangi ma'lumotlar nuqtasi mavjud toifalar bilan taqqoslanadi va tegishli toifaga joylashtiriladi. Bu algoritmga kirish sifatida k eng yaqin qo'shnilarning o'rtacha qiymati olinadi. KNN modellaridagi qo'shnilarga o'rtacha qiymatga hissa qo'shadigan ma'lum bir vazn beriladi. 
KNN modelidagi qo'shnilarga og'irliklarni belgilashning keng tarqalgan amaliyoti 1 / d ni tashkil qiladi, bu erda d - qo'shnining qiymati prognoz qilinadigan ob'ektdan masofasi. KNN modeli orqali yangi ma'lumotlar nuqtasining qiymatini aniqlashda, eng yaqin qo'shnilar uzoq qo'shnilarga qaraganda ko'proq hissa qo'shishini bilish kerak.
8) Vektorli mashinalarni qo'llab-quvvatlash (SVM)
SVM ML da chiziqli va chiziqli bo'lmagan regressiya turlari ostida joylashtirilishi mumkin. SVM dan foydalanish holatlari tasvirni qayta ishlash va segmentatsiyadan, birja naqshlarini bashorat qilishdan, matnni turkumlashtirishdan va hokazolardan iborat bo'lishi mumkin. Ko'p o'lchovli makonda chiqishni aniqlash kerak bo'lganda, SVM algoritmidan foydalaniladi. Ko'p o'lchovli makonda ma'lumotlar nuqtalari 2D chizmasida nuqta sifatida taqdim etilmaydi. Ma'lumotlar nuqtalari ko'p o'lchovli fazoda vektor sifatida ifodalanadi. 
Ushbu model ostida sinflarni ajratib turadigan va har bir sinfga qiymat belgilaydigan maksimal chegara giperplaniyasi yaratiladi. Yangi kelganlar bilishlari kerakki, agar ma'lumotlar to'plamida shovqin ko'proq bo'lsa, SVM modeli to'liq ishlamaydi.
9) Gauss regressiyasi
Gauss regressiya algoritmlari ko'pincha mashinani o'rganish dasturlarida taqdimotning moslashuvchanligi va bashoratlarga xos noaniqlik choralari tufayli qo'llaniladi. Gauss jarayoni ko'p o'zgaruvchan normal taqsimot, parametr bo'lmagan modellar, yadrolar, qo'shma va shartli ehtimollik kabi fundamental tushunchalar asosida qurilgan.
Gauss jarayonlarining regressiyasi (GPR) modeli oldingi bilimlar (yadrolar) yordamida bashorat qilishi va bu bashoratlar uchun noaniqlik choralarini taqdim etishi mumkin. Bu kompyuter fanlari va statistika hamjamiyatlari tomonidan ishlab chiqilgan nazorat ostida o'rganish usuli.
Gauss jarayoni regressiyasining noparametrik tabiati tufayli u hech qanday funksional shakl bilan cheklanmaydi. Natijada, ma'lum bir funktsiya parametrlarining ehtimollik taqsimotini hisoblash o'rniga, GPR ma'lumotlarga mos keladigan barcha ruxsat etilgan funktsiyalarning ehtimollik taqsimotini hisoblaydi . 
10) Polinomli regressiya
Ko'p nomli regressiya - mustaqil o'zgaruvchi (x) va qaram o'zgaruvchi (y) o'rtasidagi munosabatni n-darajali polinom sifatida modellashtiruvchi regressiya algoritmi . Polinomli regressiya tenglamasi quyidagicha:
y= b 0 b 1 x 1 b 2 x 1 2 b 2 x 1 3 …… b n x 1 n
Mashina o'rganishda Ko'p chiziqli regressiyaning maxsus stsenariysi sifatida ham tanilgan . Chunki uni polinomli regressiya qilish uchun Koʻp chiziqli regressiya tenglamasiga baʼzi koʻphadli atamalar qoʻshiladi. Bu aniqlikni oshirish uchun o'zgartirilgan chiziqli model. Polinomli regressiyani o'rgatish uchun ishlatiladigan ma'lumotlar to'plami chiziqli emas. Chiziqli bo'lmagan va murakkab funktsiyalar va ma'lumotlar to'plamlarini moslashtirish uchun. Asl xususiyatlar kerakli darajadagi (2,3,…,n) Polinom xususiyatlariga o'zgartiriladi va keyin chiziqli model yordamida modellashtiriladi.

Xulosa.
Bular regressiya tahlili uchun ishlatiladigan eng yaxshi algoritmlardan biri edi. Yangiroqmi yoki yo'qmi, siz regressiya tahlilining barcha turlaridan xabardor bo'lishingiz kerak. MLda bashorat qilish uchun foydalanmoqchi bo'lgan o'zgaruvchilar sonini ham aniqlashingiz kerak. Agar bashorat qilish uchun faqat bitta mustaqil o'zgaruvchidan foydalanish kerak bo'lsa, MLda chiziqli regressiya algoritmini tanlang.