Лекция Метод наименьших квадратов при статистическом моделировании

Лекция 9. Метод наименьших квадратов при статистическом моделировании
План:

1. 
   Постановка задачи метода наименьших квадратов (МНК)
   
2. 
   Вывод уравнений МНК
   
3. 
   Анализ МНК и обобщение
   

Основные понятия: модель, моделирование, статистический модель, регрессия, регрессионный анализ, статистические методы, уравнения регрессии, отклонения.


Цель занятия: изучить идею, вывод формул и алгоритм получения расчетных формул МНК для линейного случая, дать знания по обобщению МНК для других видов функций, а также по проектированию и оценке алгоритма МНК.


1.Постановка задачи метода наименьших квадратов
Модель— абстрактное или вещественное отображение объектов или процессов, адекватное исследуемым объектам (процессам) в отношении некоторых заданных критериев.
Моделирование — это создание и исследование моделей с целью их изучения.
Под моделированием понимается воспроизведение или имитирование какой-либо существующей системы на специально построенном аналоге или модели.
Моделирование включает в себя: разработку самой модели, ее экспериментальный анализ, сопоставление результатов прогнозных расчетов на основе модели с фактическими данными состояния объекта или процесса, корректировку уточненной модели.
С точки зрения отражения временных интервалов модели могут делиться на:

• 
  динамические, отражающие свойства объекта планирования изменять свои параметры во времени;
  
• 
  статистические, не отражающие вышеуказанные свойства.
  

Метод наименьших квадратов (МНК) – один из наиболее широко используемых методов при решении многих задач восстановления регрессионных зависимостей. Впервые МНК был использован Лежандром в 1806 г. для решения задач небесной механики на основе экспериментальных данных астрономических наблюдений. В 1809 г. Гаусс изложил статистическую интерпретацию МНК и тем самым дал начало широкого применения статистических методов при решении задач восстановления регрессионных зависимостей. Строгое математическое обоснование и установление границ содержательной применимости метода наименьших квадратов даны А.А. Марковым и А.Н. Колмогоровым. Ныне способ представляет собой один из важнейших разделов математической статистики и широко используется для статистических выводов в различных областях науки и техники.
Метод наименьших квадратов — один из методов регрессионного анализа для оценки неизвестных величин по результатам измерений, содержащих случайные ошибки.
Регрессионный анализ — набор статистических методов исследования влияния одной или нескольких независимых переменных X(регрессор) на зависимую переменную Y.
Применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений. В настоящее время широко применяется при обработке количественных результатов естественнонаучных опытов, технических данных, астрономических и геодезических наблюдений и измерений.
Рассмотрим применение классического метода наименьших квадратов для нахождения неизвестных параметров уравнения регрессии на примере модели линейной парной регрессии.



Задача: найти линейную зависимость между и .

1. 
   Если дано одна точка , через эту точку можно провести множество прямых.
   
2. 
   Если дано две точки и , через эти точки можно провести только одну прямую.
   
3. 
   Если дано точек , через эти точки можно провести множество прямых.
   

Задача не имеет решения?

• 
  Точки определённо не лежат на одной прямой.
  
• 
  Тем не менее нам нужно решать задачу. Но как?
  
• 
  Из всех прямых на плоскости выбрать одну, подходящее лучше других.
  

Что значить лучше других?
Мы хотим, чтобы суммарная отличие было минимальным. А как его разумно считать?
По этим точкам необходимо получить такое выборочное уравнение , отклонение всех точек от этой прямой было минимальным.
Просто сложить отклонения и найти среднее?
Пусть предполагаемая линейная зависимость



Тогда отклонение в точка составит

Нам нужно отыскать такие и чтобы суммарное отклонения были минимальными.
Если просто сложить такие выражения для всех , они могут сократится - модуль отклонений могут быть большим, но они имеют разные знаки, сумма может быт нулевой.
Чтобы отклонения вносило свой вклад в каждой точке, рассматривают сумму квадратов отклонений

В чём теперь состоит задача?

• 
  Найти и , при которых такая сумма минимальна.
  
• 
  Дан набор данных
  
• 
  Ищем пару и .
  

Смотрим на задачу внимательнее.
Выражение
выглядит сложно, но это функция двух переменных и , и нас интересует её минимум.
Как решаются такие задачи? Эта задача математического анализа. Для решения таких задач необходимо найти экстремальные точки, т.е. частные производные от этого выражения по и должен быть равен нулю: