Регрессионный анализ

Регрессионный анализ.

При изучении зависимости от одного переменного параметра полезно для определения вида уравнения регрессии построить эмпирическую линию регрессии. Для этого весь диапазон изменения х на поле корреляции (рис.12.1.) разбивается на равные интервалы . Все точки, попавшие в данные интервал , относят к его середине .

Для этого подсчитывают частные средние каждого интервала:
где k – число интервалов разбиения; N – объем выборки.
Затем последовательно соединяют точки
Полученная ломаная называются эмпирической линией регрессии у по х. По виду эмпирической линии регрессии можно подобрать уравнение регрессии
отрезками прямой.
Задача определения параметров уравнения регрессии сводится практически к определению минимума функции многих переменных. Если
есть функция дифференцируемая и требуется выбрать так, чтобы
или
После преобразований получим:
(8.20).
Система уравнений (8.20) содержит столько же уравнений, сколько неизвестных коэффициентов b0, b1, b2, …входит в уравнение регрессии и называется в математической статистике системой нормальных уравнений.
Величина Ф 0 при любых b0, b1, b2, …;
следовательно, у нее обязательно должен существовать хотя бы один минимум. Поэтому, если система нормальных уравнений имеет единственное решение, то оно и является минимумом для величины Ф. Решать систему (8.20) в общем виде нельзя. Для этого надо задаться конкретным видом функции f.
Линейная регрессия от одного параметра. Требуется определить по методу наименьших квадратов коэффициенты линейного уравнения регрессии
по выборке объема N.
Система нормальных уравнений для этого случая имеет вид:
или
(8)
(9).
Коэффициенты b0 и b1 легко найти в этом случае с помощью определителей
Коэффициент b0 проще найти по известному b1 из первого уравнения системы (9):
Последнее уравнение показывает, в частности, что между коэффициентами b0 и b1 существует корреляционная зависимость.
(10)
(11)
(12)
Для оценки силы линейной связи (11) вычисляется выборочный коэффициент корреляции
где sx, sy – выборочные среднеквадратичные отклонения.
Из уравнений (11) и (13) имеем:
(13)
(14).
После того как уравнение регрессии найдено, необходимо провести статистический анализ результатов. Этот анализ состоит в следующем: проверяется значимость всех коэффициентов регрессии в сравнении с ошибкой воспроизводимости и устанавливается адекватность уравнения. Такое исследование носит название регрессионного анализа.
Для проведения регрессионного анализа необходимо выполнение следующих условий:
1. Входной параметр х измеряется с пренебрежимо малой ошибкой. Появление ошибки в определении у объясняется наличием в процессе невыявленных переменных, не вошедших в уравнение регрессии.
2. Результаты наблюдений над выходными величинами представляют собой независимые нормально распределенные случайные величины.
3. При проведении эксперимента с объемом выборки N при условии, что каждый опыт повторен m раз, выборочные дисперсии должны быть однородны.
Определение однородности дисперсий сводится к следующему:
1. Определяется среднее из результатов параллельных опытов:
(15).
2. Определяются выборочные дисперсии:
(16).
3. Находится сумма дисперсий:
(17).
4. Составляется отношение:
(18).
Если дисперсии однородны, то
где
табулированное значение критерия Кохрена при уровне значимости р.
Если выборочные дисперсии однородны, рассчитывается дисперсия воспроизводимости:
Число степеней свободы этой дисперсии f равно:
(19).
(20).
(21).
Дисперсия воспроизводимости необходима для оценки значимости коэффициентов уравнения регрессии (8). Оценка значимости коэффициентов производится по критерию Стьюдента:
Если tj больше табулированного tp(f) для выбранного уровня значимости р и числа степеней свободы f, то коэффициент bj значимо отличается от нуля; sbj определяется по закону накопления ошибок:
Если
, получим:
(24).
(23).
(22).
(25).
Незначимые коэффициенты исключаются из уравнения регрессии. Оставшиеся коэффициенты пересчитываются заново, поскольку коэффициенты закоррелированы друг с другом. Адекватность уравнения проверяется по критерию Фишера:
(26).
(27).
Если отношения (27) меньше табличного
, уравнение адекватно.