Книга представляет собой введение в основные понятия, методы и ал

Модели машинного обучения

1. Понятие модели обучения

→
Как правило, для решения задачи построения функции 𝑎_𝑆 : 𝑋 𝑌 по обучающей выборке 𝑆 выбирается некоторая модель обучения, состо- ящая из двух компонентов:

1. 
   Первой компонентой модели обучения является функция
   

𝑎 : 𝑋 × 𝑊 → 𝑌 (1.1)
где 𝑊 – множество, элементы которого называются параметрами. Искомая функция 𝑎_𝑆 ищется в виде
𝑎_𝑆() = 𝑎(, ), (1.2)
где – фиксированный параметр. Функцию (1.1) иногда называют

предсказательной моделью (predictive model).

2. 
   Другой компонентой модели обучения является алгоритм обуче- ния, который представляет собой алгоритм поиска такого значения
   

, для которого функция 𝑎_𝑆, определяемая соотношением (1.2), об- ладает некоторыми свойствами оптимальности. Более подробно об свойствах оптимальности функции 𝑎_𝑆 см. в пункте 1.2.3.

2. Примеры предсказательных моделей

Линейная предсказательная модель

В линейной предсказательной модели множество 𝑊 параметров имеет вид R, где – число признаков объектов, т.е. каждый параметр
представляет собой вектор действительных чисел = (₁, . . . , ), и

• 
  в задачах регресии и ранжирования 𝑌 = R, и
  

∑︁ 𝑎(, ) = ⟨, ⟩

def
=

=1

(число ⟨, ⟩ называется скалярным произведением и ),

• 
  в задачах классификации 𝑌 = {−1, 1}, и
  

𝑎(, ) = 𝑔(⟨, ⟩),
где 𝑔 – функция знака, она сопоставляет неотрицательным числам значение 1, а отрицательным – значение −1.
Если какая-либо задача ML не решается в некоторой линейной моде- ли, то для решения этой задачи можно попытаться расширить исходную линейную модель путем добавления новых признаков, получаемых из уже имеющихся признаков. Например, можно добавлять

• 
  комбинации признаков (их произведение, и т.п.),
  
• 
  функции от признаков, и т.д.