A. A. Markovning 20-asr boshidagi ishlari eng kichik kvadratlar usulini matematik statistikani baholash nazariyasiga kiritishga imkon berdi, uning muhim va tabiiy qismidir. Y. Neyman, F. Devid, A. Aitken, S. Raolarning sa

Masala, chiziqli tenglamalar sistemasi.
Xususan, chiziqli tenglamalar tizimini “yechish” uchun eng kichik kvadratlar usulidan foydalanish mumkin
{\displaystyle Ax=b}
bu yerda A - m x n, m>n o'lchamdagi to'rtburchaklar matritsa (ya'ni A matritsaning qatorlar soni kerakli o'zgaruvchilar sonidan katta).
Bunday tenglamalar tizimi odatda yechimga ega emas. Demak, bu sistemani faqat Ax va b vektorlari orasidagi “masofa”ni minimallashtirish uchun shunday x vektorni tanlash ma’nosida “echish” mumkin. Buning uchun siz tizim tenglamalarining chap va o'ng qismlarining kvadratik farqlari yig'indisini minimallashtirish
mezonini qo'llashingiz mumkin, ya'ni
Ushbu minimallashtirish masalasini yechish quyidagi tenglamalar tizimini echishga olib kelishini ko'rsatish oson {\displaystyle A^{T}Ax=A^{T}b\Rightarrow x=(A^{T}A)^{-1}A^{T}b}
{\displaystyle x=A^{+}b}
Bu erda  {\displaystyle A^{+}} — uchun psevdo-teskari matritsadir {\displaystyle A}.
Bu muammo, shuningdek, tizimning turli tenglamalari nazariy mulohazalardan turli og'irliklarni olganida, eng kichik vaznli kvadratlar (pastga qarang) yordamida ham "echilishi" mumkin.
Qat'iy asoslash va usulning mazmunli qo'llanilishi chegaralarini aniqlash A. A. Markov va A. N. Kolmogorov tomonidan berilgan.
Ayrim y o'zgaruvchining n qiymati (bu kuzatishlar, tajribalar va boshqalar natijalari bo'lishi mumkin) va mos keladigan o'zgaruvchilar x bo'lsin. Vazifa y va x o'rtasidagi bog'liqlikni ba'zi bir noma'lum b parametrlarigacha ma'lum bo'lgan ba'zi f(x,b) funktsiyasi bo'yicha taxmin qilish, ya'ni aslida qiymatlarni keltiradigan b parametrlarining eng yaxshi qiymatlarini topishdir. f(x,b) ning haqiqiy y qiymatlariga iloji boricha yaqinroq. Aslida, bu b ga nisbatan haddan tashqari aniqlangan tenglamalar tizimini "yechish" holatiga qisqartiradi:
{\displaystyle f(x_{t},b)=y_{t},t=1,\ldots ,n}
Regressiya tahlilida, xususan, ekonometrikada o'zgaruvchilar o'rtasidagi munosabatlarning ehtimollik modellari qo'llaniladi
{\displaystyle y_{t}=f(x_{t},b)+\varepsilon _{t}}
Bu erda {\displaystyle \varepsilon _{t}} — modelning tasodifiy xatolari deb ataladi.
Shunga ko'ra, y ning kuzatilgan qiymatlarining f(x, b) modelidan og'ishlari allaqachon modelning o'zida qabul qilingan. LSM (oddiy, klassik) ning mohiyati shunday b parametrlarini topishdan iborat bo'lib, ular ostida kvadrat og'ishlar yig'indisi (xatolar, regressiya modellari uchun ular ko'pincha regressiya qoldiqlari deb ataladi)) {\displaystyle e_{t}} minimal bo’ladi:

Bu yerda {\displaystyle RSS} RSS — inglischa Residual Sum of Squares shunday aniqlanadi

Umumiy holda, bu muammoni optimallashtirishning raqamli usullari (minimalizatsiya) bilan hal qilish mumkin. Bunday holda, chiziqli bo'lmagan eng kichik kvadratlar (NLS yoki NLLS - Non-Linear Least Squares) haqida gapiriladi. Ko'p hollarda analitik yechimni olish mumkin. Minimallashtirish masalasini yechish uchun RSSb funksiyasining noma’lum parametrlarga nisbatan differensiallash, hosilalarini nolga tenglashtirish va hosil bo‘lgan tenglamalar tizimini yechish orqali uning statsionar nuqtalarini topish kerak
: