Книга представляет собой введение в основные понятия, методы и ал

Проблема переобучения

Переобучение – это чрезмерно точная подгонка АФ 𝑎_𝑆 под обучаю- щую выборку 𝑆, которая дает сильные отклонения значений 𝑎_𝑆() от правильных значений (т.е. от 𝑓 ()) для многих объектов , не входящих в обучающую выборку 𝑆.
Причины возникновения переобучения:

∙
излишние степени свободы в предсказательной модели 𝑎(, ), при- водящие к учету при построении 𝑎_𝑆 различных шумов, неточностей и ошибок в данных,

• 
  неполнота обучающей выборки 𝑆.
  

Переобучение можно обнаружить следующими способами.

1. Cкользящий контроль (LOO, leave-one-out).

Пусть задана обучающая выборка 𝑆 = {(, ) | = 1, . . . , }.
∀ = 1, . . . , обозначим записью 𝑆 − выборку
{(, ) | = 1, . . . , − 1, + 1, . . . , }.
Признаком переобучения является высокое значение выражения

∑︁_{1 ℒ}

(𝑎

=1
𝑆−
, )

Данный способ контроля переобучения можно представить в ви- де одного из условий оптимальности алгоритма обучения: данное условие имеет вид

∑︁_{1 ℒ}

(𝑎

=1
𝑆−
, ) → min

2. Кросс-проверка (cross-validation).

Делается разбиение выборки на две части 𝑆₁ и 𝑆₂, обучение идет по 𝑆₁, а 𝑆₂ используется для проверки качества обучения.
Признаком переобучения является высокое значение выражения
𝑄(𝑎_𝑆1 , 𝑆₂).

1

2

1

2
Данный способ контроля переобучения тоже можно представить в виде одного из условий оптимальности алгоритма обучения: выби- рается 𝑁 различных разбиений обучающей выборки 𝑆 на две части ^(︁_𝑆(1)_{, 𝑆}(1)^)︁_{, . . . ,} ^(︁_𝑆(𝑁 )_{, 𝑆}(𝑁 )^)︁_,

и одно из условий оптимальности алгоритма обучения имеет вид

∑︁
𝑁

1
𝑄(𝑎
=1
_𝑆()
, 𝑆⁽⁾) → min