Задача восстановления плотности распределения 21

§3.2 Отбор эталонных объектов 47
Понятие отступа объекта 47
Алгоритм STOLP для отбора эталонных объектов 48
Линейные методы классификации 51
§4.1 Аппроксимация и регуляризация эмпирического риска 51
§4.2 Линейная модель классификации 54
§4.3 Метод стохастического градиента 57
Классические частные случаи 59
Эвристики для улучшения градиентных методов обучения ... 60
§4.4 Логистическая регрессия 62
Обоснование логистической регрессии 62
Метод стохастического градиента для логистической регрессии . 64
Скоринг и оценивание апостериорных вероятностей 66
§4.5 Метод опорных векторов 67
Линейно разделимая выборка 68
Линейно неразделимая выборка 69
Ядра и спрямляющие пространства 73
§4.6 ROC-кривая и оптимизация порога решающего правила 78
Методы восстановления регрессии 80
§5.1 Метод наименьших квадратов 80
§5.2 Непараметрическая регрессия: ядерное сглаживание 80
Формула Надарая-Ватсона 80
Выбор ядра и ширины окна 81
Проблема выбросов: робастная непараметрическая регрессия . . 82
Проблема краевых эффектов 83
§5.3 Линейная регрессия 84
Сингулярное разложение 85
Проблема мультиколлинеарности 86
Гребневая регрессия 86
Лассо Тибширани 88
Линейная монотонная регрессия 89
§5.4 Метод главных компонент 89
§5.5 Нелинейные методы восстановления регрессии 93
Нелинейная модель регрессии 93
Нелинейные одномерные преобразования признаков 94
Обобщённые линейные модели 96
Неквадратичные функции потерь 96
Логистическая регрессия и итерационный взвешенный МНК . . 98
§5.6 Метод опорных векторов в задачах регрессии 99
Искусственные нейронные сети 102
§6.1 Проблема полноты 102
Задача «исключающего ИЛИ» 102
Вычислительные возможности нейронных сетей 104
§6.2 Многослойные нейронные сети 105
Метод обратного распространения ошибок 105
Эвристики для улучшения сходимости 108
Оптимизация структуры сети 110
Кластеризация и визуализация 113