Лекция 14. Метод наименьших квадратов при статистическом моделировании

2.Вывод уравнений МНК
Для решения этой задачи необходимо найти частные производные и Начинаем со второго уравнения :




Это очень понятный результат- “устроена” так, что средные значения и совпали.
Вводим обозначения: , .
Тогда получим
Теперь рассмотрим первое уравнение







Введём ещё пару обозначений , , и ответ станет выглядеть просто


Пример: пусть даны координаты четырёх точек

-4	-3	12	16
-1	-1	1	1
1	3	3	1
3	4	12	9

, , , ,





3.Анализ МНК и обобщение
Что мы получили?
Мы нашли коэффициенты линейной функции, меньше всего отличающего от заданных данных.
Хорошо ли эта линейная функция приближает данные?
Теперь мы знаем, что лучше всех других линейных, больше нет.
Можно выделить следующие достоинства метода:
а) расчеты сводятся к механической процедуре нахождения коэффициентов;
б) доступность полученных математических выводов.
Основным недостатком МНК является чувствительность оценок к резким выбросам, которые встречаются в исходных данных.
Сложность алгоритма МНК .
Какие ещё задачи можно решить МНК?
Можно искать самые близкие функции другого вида: квадратичные, экспоненциальные, степенные и другие.

Итак, мы хотим, выбрать набор параметров так чтобы отклонение функции от имеющихся данных было минимальным.
Рассмотрим квадратичную функцию

Это функция трёх переменных (которые необходимо найти).
Тогда функция отклонений имеет вид

Из необходимого условия существования экстремума


Решая 3 уравнений с трёмя неизвестными, вычислим и находим искомую функцию.
В общем случае любую непрерывную функцию можно представить в виде ряда Тейлора

значить для любой искомой функции можно применить МНК.
ВОПРОСЫ ДЛЯ САМОКОНТРОЛЯ

1. 
   Что означает модель?
   
2. 
   Какой процесс называется моделированием?
   
3. 
   Что понимается под моделированием?
   
4. 
   Что означает статистическое моделирование?
   
5. 
   На какие делятся модели с точки зрения отражения временных интервалов?
   
6. 
   Для каких задач широко используется МНК?
   
7. 
   Какая задача ставится для определения линейной зависимости между и ?
   
8. 
   Что означает отклонение всех точек от этой искомой прямой?
   
9. 
   Почему рассматривается квадраты отклонений, а не просто отклонения?
   
10. 
    Как определяется неизвестные коэффициенты линейной регрессии?
    
11. 
    Хорошо ли линейная функция приближает данные?
    
12. 
    Какие можно выделить достоинства и недостатки МНК?
    
13. 
    Какие ещё задачи можно решить МНК?
    

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ И РЕСУРСЫ

1. 
   Пронина Л.А. Теория математической обработки измерений: В 2 ч. Ч. 2. Метод наименьших квадратов: учебное пособие. Омск. 2017. -С.194
   
2. 
   Гудович А. Н., Гудович Н. Н. Элементы численных методов выпуск 3 метод наименьших квадратов: Учебное пособие. Воронеж. 2016. -С.30
   
3. 
   https://www.libex.ru/detail/book346275.html
   
4. 
   http://statistica.ru/theory/osnovy-lineynoy-regressii/
   
5. 
   https://works.doklad.ru/view/LTI1Xp37Hbc.html
   
6. 
   https://ppt-online.org/303671 Презентации
   
7. 
   https://topref.ru/referat/93625.html
   
8. 
   https://ppt-online.org/56541
   
9. 
   https://ru.coursera.org/lecture/algebra-lineynaya/11-1-mietod-naimien-shikh-kvadratov-vviedieniie-QS3jO
   
10. 
    https://www.youtube.com/watch?v=UcwI7tY7bss