Книга представляет собой введение в основные понятия, методы и ал

Метод ближайших соседей

⊆ ×
Пусть задана обучающая выборка 𝑆 𝑋 𝑌 .
Напомним, что 𝑋_𝑆 обозначает множество объектов, входящих в 𝑆:

def
𝑋_𝑆 = { ∈ 𝑋 | ∃ ∈ 𝑌 : (, ) ∈ 𝑆}.

∀ ∈
Если на множестве 𝑋 объектов задана метрика 𝜌, то 𝑋 объекты из множества 𝑋_𝑆 можно упорядочить в соответствии с их близостью к
, т.е. расположить в последовательность
₁, . . . , _|𝑆|, (2.98)
удовлетворяющую условию:
𝜌(, ₁) ≤ . . . ≤ 𝜌(, _|𝑆|) (2.99)

∀
т.е. первым в (2.98) расположен ближайший к объект, затем – следую- щий по близости к объект, и т.д. = 1, . . . , объект из последова- тельности (2.98) называется –м ближайшим соседом к .
Метод ближайших соседей для построения АФ 𝑎_𝑆 заключается в том, что выбираются

• 
  ≥
  

натуральное число 1 (число ближайших к объектов, ответы на которых учитываются при вычислении ответа 𝑎_𝑆()),

• 
  ≥ ≥
  

действительные числа ₁ . . . > 0, которые имеют смысл ве- сов, определяющих вклад ближайших соседей объекта из обу- чающей выборки 𝑆 в вычисление ответа для объекта , например,

∀ = 1, . . . ,
₌ + 1 −
или
= ,

где 0 < < 1 – заданный параметр,

∀ ∈ ∈
𝑋 значение 𝑎_𝑆() определяется как такой ответ 𝑌 , который максимизирует значение выражения

∑︁


[ = ] , (2.100)
=1


т.е. как такой ответ , который наиболее характерен среди ответов на
ближайших соседей из обучающей выборки 𝑆.

𝑆
АФ, построенную в соответствии с приведенным выше определени- ем, будем обозначать записью 𝑎 , явно указывая число ближайших соседей. Оптимальным является такое , которое минимизирует риск

^(,∑︁^)∈𝑆