A. A. Markovning 20-asr boshidagi ishlari eng kichik kvadratlar usulini matematik statistikani baholash nazariyasiga kiritishga imkon berdi, uning muhim va tabiiy qismidir. Y. Neyman, F. Devid, A. Aitken, S. Raolarning sa

4-Mavzu. Eng kichik kvadratlar usuli


Eng kichik kvadratlar usuli (EKU) turli masalalarni yechishda qoʻllaniladigan matematik usul boʻlib, baʼzi funksiyalarning kerakli oʻzgaruvchilardan kvadrat ogʻishlari yigʻindisini minimallashtirishga asoslangan. U haddan tashqari aniqlangan tenglamalar tizimini "yechish" uchun (tenglamalar soni noma'lumlar sonidan oshib ketganda), oddiy (ortiqcha aniqlanmagan) chiziqli bo'lmagan tenglamalar tizimlarida yechim topish, nuqta qiymatlarini yaqinlashtirish uchun ishlatilishi mumkin. ma'lum bir funktsiyaga ega. OLS - namunaviy ma'lumotlardan regressiya modellarining noma'lum parametrlarini baholash uchun regressiya tahlilining asosiy usullaridan biri.
XIX asr boshlarigacha. olimlar noma’lumlar soni tenglamalar sonidan kam bo‘lgan tenglamalar tizimini yechishning aniq qoidalariga ega emas edilar; Shu vaqtgacha tenglamalar turiga va kalkulyatorlarning zukkoligiga qarab alohida usullar qo'llanilgan va shuning uchun bir xil kuzatish ma'lumotlaridan boshlab turli xil kalkulyatorlar turli xil xulosalarga kelishgan. Usulning birinchi qoʻllanilishi Gauss (1795) hisoblangan va Legendre (1805) mustaqil ravishda uni zamonaviy nomi bilan kashf etgan va nashr etgan (frantsuzcha Méthode des moindres quarrés. Laplas usulni ehtimollar nazariyasi bilan bog'ladi va amerikalik matematik Adrain (1808) uning ehtimollik qo'llanilishini ko'rib chiqdi. Usul Encke, Bessel, Hansen va boshqalar tomonidan olib borilgan keyingi tadqiqotlar natijasida kengaytirildi va takomillashtirildi.
A. A. Markovning 20-asr boshidagi ishlari eng kichik kvadratlar usulini matematik statistikani baholash nazariyasiga kiritishga imkon berdi, uning muhim va tabiiy qismidir. Y.Neyman, F.Devid, A.Aitken, S.Raolarning saʼy-harakatlari bilan bu sohada koʻplab muhim natijalarga erishildi.
x n ta noma'lum o'zgaruvchilar (parametrlar) to'plami bo'lsin.
{\displaystyle f_{i}(x)}— bu oʻzgaruvchilar toʻplamidan funksiyalar toʻplami.
Vazifa x ning bunday qiymatlarini tanlash kerakki, shunda funktsiyalarning qiymatlari ba'zi qiymatlarga imkon qadar yaqin bo'ladi {\displaystyle y_{i}} Aslida, biz tizimning chap va o'ng qismlarining maksimal yaqinligining ko'rsatilgan ma'nosida haddan tashqari aniqlangan tenglamalar tizimining "yechimi" haqida gapiramiz. EKKU ning mohiyati "yaqinlik o'lchovi" sifatida chap va o'ng qismlarning kvadratik og'ishlarining yig'indisini tanlashdir. {\displaystyle |f_{i}(x)-y_{i}|}. Shunday qilib, EKKUning mohiyatini quyidagicha ifodalash mumkin:
Agar tenglamalar tizimi yechimga ega bo'lsa, kvadratlar yig'indisining eng kichik qiymati nolga teng bo'ladi va tenglamalar tizimining aniq echimlarini analitik yoki, masalan, turli sonli optimallashtirish usullari bilan topish mumkin. Agar tizim haddan tashqari aniqlangan bo'lsa, ya'ni ochiq aytganda, mustaqil tenglamalar soni noma'lum o'zgaruvchilar sonidan ko'p bo'lsa, unda tizim aniq echimga ega emas va eng kichik kvadratlar usuli bizga qandaydir "optimal" vektorni topishga imkon beradi. y va vektorlarining maksimal yaqinligi yoki e og'ish vektorining nolga maksimal yaqinligi ma'nosida (yaqinlik Evklid masofasi ma'nosida tushuniladi).