Книга представляет собой введение в основные понятия, методы и ал

[ 𝑎^{ℎ
𝑆∖{(,)}}
()
] . (2.115)

2. 𝑋 – метрическое пространство, т.е. на 𝑋 задана метрика 𝜌. В этом случае м.б. использована следующая оценка ˆ(|):

ˆ(|) =

^∑︁ 1
𝑉 (ℎ)
=1
_𝐾^(︁𝜌(, )^)︁
(2.116)

ℎ
где 𝐾, ℎ – параметры, имеющие тот же смысл, что и аналогичные параметры выше (ядро и ширина окна, соответственно), и 𝑉 (ℎ) –

нормирующий множитель, предназначенный для того, чтобы (2.116) было плотностью, т.е. удовлетворяло условию (2.112).

∈
Если распределение объектов в пространстве 𝑋 сильно неравно- мерно, то лучше использовать переменную ширину окна, опреде- ляемую в каждой точке 𝑋 как расстояние от до ( + 1)-го соседа, где оптимальное значение м.б. найдено из условия, ана- логичного условию (2.115).
3. 𝑋 = R.

• 
  Если нет никаких предположений о том, какой вид может иметь плотность (|), то можно использовать оценку
  

ˆ(|) =
1 ^∑︁

1 _{𝐾 0} −

(︁

∏︁

ℎ ℎ

)︁,

где
=1 =1

– ∀ = 1, . . . , = (₁, . . . , ), = (₀₁, . . . , ₀), и
– 𝐾, ℎ₁, . . . , ℎ – параметры, имеющие тот же смысл, что и аналогичные параметры в предыдущем пункте (т.е. 𝐾 – ядро, и ℎ₁, . . . , ℎ – ширины окон, соответствующих каж- дому из признаков).

• 
  Если известно, что (|) имеет гауссов вид
  

(; 𝜇, Σ) = (2𝜋)⁻ |Σ|⁻ 1 𝑒⁻ 1 ^(−𝜇)⊤^Σ−1^(−𝜇)

2 2 2
(2.117)

(⊤ обозначает транспонирование),
где 𝜇 и Σ – неизвестные параметры:
– 𝜇 ∈ R,
– Σ – симметричная, невырожденная, положительно опреде- ленная матрица порядка , называемая ковариационной матрицей,

|
то нахождение оценки ˆ( ) сводится к нахождению оценок 𝜇ˆ и Σ^ˆ, которые м.б. вычислены по правилам

1
𝜇ˆ =

∑︁

;=1

^∑︁ 1
^Σˆ = (
− 1 ₌₁
— 𝜇ˆ)(
— 𝜇ˆ)^⊤.

Некоторое обоснование данных правил заключается в том, что

• 
  
  ∫︀
  𝜇 совпадает с мат. ожиданием 𝐸 случайной величины
  

с плотностью (2.117), т.е. с интегралом _R (; 𝜇, Σ)𝑑,

• 
  Σ совпадает с мат. ожиданием 𝐸( − 𝜇)( − 𝜇)^⊤.
  

• 
  Если ∀ ∈ 𝑌 (|) имеет вид (2.117), и известно, что кова- риационные матрицы в (2.117) одинаковы для всех ∈ 𝑌 , то
  

оценка Σ^ˆ этих матриц м.б. вычислена по формуле

_{Σˆ =} 1
∑︁ ( − 𝜇ˆ
)( − 𝜇ˆ
)^⊤.

^{|𝑆| − |𝑌 | (,)∈𝑆}
В данном случае АФ, вычисленную по формуле (2.111), можно записать (опуская сложение с константой в arg max(. . .)) в виде
∈𝑌

2
𝑎() = arg max (︁ ln(𝜆()) − ¹ ( − 𝜇ˆ)^⊤Σ^ˆ−1( − 𝜇ˆ))︁ =

= arg max (︁ ln(𝜆()) − ¹ 𝜇ˆ^⊤Σ^ˆ−1𝜇ˆ + ^⊤Σ^ˆ−1𝜇ˆ)︁ = ^(2.118)
∈𝑌 ²
= arg max(^⊤𝛼 + 𝛽),
∈𝑌

2
где 𝛼 = Σ^ˆ−1𝜇ˆ, 𝛽 = ln(𝜆()) − ¹ 𝜇ˆ
Σ^ˆ−1𝜇ˆ.

АФ (2.118) называется линейным дискриминантом Фишера.

После вычисления оценки ˆ(|)

• 
  |
  

те объекты из 𝑆, для которых значение ˆ( ) мало, рассматрива- ются как выбросы,

• 
  соответствующие пары (, ) удаляются из 𝑆,
  
• 
  после чего оценка ˆ(|) перевычисляется.
  

5. EM-алгоритм

|

|
EM-алгоритм предназначен для вычисления оценки ˆ( ), в предполо- жении, что плотность ( ) является смесью плотностей вида 𝜙(, 𝜃), где = 1, . . . , , и функция 𝜙 предполагается известной, т.е.

∑︁

(|) = 𝜙(, 𝜃), (2.119)
=1

где ₁, . . . , , 𝜃₁, . . . , 𝜃 – неизвестные параметры, причем

∀ = 1, . . . , ∈ R_≥0,

∑︁
= 1. (2.120)
=1

Обозначим символом Θ вектор параметров, входящих в (2.119), т.е.
Θ = (₁, . . . , , 𝜃₁, . . . , 𝜃).

|
Нахождение оценки ˆ( ) сводится к нахождению вектора Θ^ˆ оценок всех параметров, входящих в Θ.
Для решения данной задачи раздельно рассматриваются случаи, ко- гда число компонентов смеси известно, и когда это число неизвестно.

Число компонентов смеси известно

В данном случае строится последовательность Θ^ˆ(1), Θ^ˆ(2), . . . приближе-
ний к искомому вектору оценок параметров Θ^ˆ. Алгоритм

• 
  использует матрицу 𝐺 = (𝑔)_× скрытых (hidden) переменных, и
  
• 
  заключается в итерационном повторении двух шагов:
  
  •