Книга представляет собой введение в основные понятия, методы и ал

Описание метода

Описание МОР будет изложено на примере двуслойной сети вида (2.32) (для МНС с б´ольшим числом слоев метод выглядит аналогично).

1
Для возможности применения МОР функция активации 𝜎 должна быть дифференцируемой. Например, в качестве такой 𝜎 может исполь- зоваться сигмоида:
𝜎() = _{1 + 𝑒−} . (2.34)
График этой функции имеет вид



→ ∞ → −∞
Данная функция стремится к 1 при и к 0 при , ее график центрально симметричен относительно точки (0, 0.5).

Ниже будет использоваться легко проверяемое соотношение
𝜎^′() = 𝜎()(1 − 𝜎()).
Мы будем предполагать, что в рассматриваемой МНС функция акти- вации одинакова для всех входящих в нее нейронов, и имеет вид (2.34).
Алгоритм МОР имеет следующий вид:

1. 
   Инициализация весов МНС небольшими случайными значениями.
   
2. 
   Делаем итерации (до тех пор пока 𝑄 не стабилизируется), каждая итерация заключается в вычислении по текущему набору весо- вых коэффициентов нового набора ^′, который будет текущим в следующей итерации, и имеет следующий вид:
   
   • 
     случайно выбираем (, ) ∈ 𝑆, = (¹, . . . , ), = (¹, . . . , ^𝑀 ),
     
   • 
     прямой ход: вычисляем выходы всех нейронов, и
     

∑︁_{1 −}
𝑀
𝑄(, , ) := (𝑎 )²
2
=1



𝜕𝑄
∀ = 1, . . . , 𝑀 _𝜕𝑎 = 𝑎 − =: 𝜉 ,

• 
  обратный ход (модификация весов в направлении −∇):
  

ℎ^′

:= _ℎ

𝜕𝑄
^— 𝜕_ℎ
𝜂, ^′ _ℎ

:= _ℎ

𝜕𝑄
^— 𝜕_ℎ

𝜂,

где 𝜂 ∈ (0, 1) – подбираемый параметр (темп обучения), и част-

𝜕

,
ные производные ^𝜕𝑄
ℎ
𝜕𝑄
𝜕_ℎ
вычисляются следующим образом:

пусть ¹, . . . , ^𝐻 – выходы первого слоя, тогда ∀ = 1, . . . , ,
∀ ℎ = 1, . . . , 𝐻, ∀ = 1, . . . ,

_𝑎

= 𝜎

(︁ <sub>∑︀


ℎ</sub>^ℎ
— ₀
)︁,

𝜕𝑄
^{𝜕𝑄 𝜕𝑎} ′^{(︁ ∑︀𝐻} ℎ


)︁ _ℎ

𝜕_ℎ ⁼ 𝜕𝑎 𝜕_ℎ ⁼

𝜎

_ℎ

𝜕₀ ⁼ 𝜕𝑎 𝜕₀ ⁼

𝜎

_ℎ

— ₀

(−1) =
= 𝜉𝑎(1 − 𝑎)^ℎ,

𝜕𝑄
^{𝜕𝑄 𝜕𝑎} ′^{(︁ ∑︀𝐻} ℎ ^)︁

ℎ=1

= −𝜉𝑎(1 − 𝑎),

^ℎ = 𝜎
(︁ _∑︀



=1
_ℎ
— _0ℎ
)︁,

𝜕𝑄
𝜕^ℎ

𝑀

∑︀

∑︀
=1


^𝜕𝑄 𝜕𝑎
𝜕𝑎 𝜕^ℎ



𝜎
𝑀


∑︀
=1


_𝜉
′(︁ _∑︀



ℎ=1
_ℎ^ℎ
— ₀
)︁_ℎ =

𝑀
=

𝜕_ℎ ⁼ 𝜕^ℎ 𝜕_ℎ ⁼

𝜎

_ℎ
=1
_𝜉
𝑎
(1 − 𝑎
)_ℎ =: 𝜁^ℎ,

𝜕𝑄
^{𝜕𝑄 𝜕ℎ} ℎ ′^{(︁ ∑︀}


)︁

= 𝜁^ℎℎ(1 − ^ℎ),

𝜕_0ℎ ⁼ 𝜕^ℎ 𝜕_0ℎ ⁼

𝜎

_ℎ

— _0ℎ

(−1) =
^{𝜕𝑄 𝜕𝑄 𝜕ℎ} ℎ ′^{(︁ ∑︀ )︁}

=1

= −𝜁^ℎℎ(1 − ^ℎ).

3. Достоинства и недостатки метода

Основые достоинства МОР:

• 
  низкая сложность,
  
• 
  легко реализуется на параллельных архитектурах,
  
• 
  универсальность (пригоден для любых конфигураций МНС). Основные недостатки МОР заключаются в следующем.
  

∙
Неопределенно долгий процесс обучения. В сложных задачах для обучения сети могут потребоваться дни или даже недели, она мо- жет и вообще не обучиться.

∙
В процессе обучения сети значения весов могут в результате кор- рекции стать очень большими величинами. Это может привести к тому, что большинство нейронов будут функционировать при очень больших значениях весовых коэффициентов, в области, где про- изводная функции активации очень мала. Так как обратно рас- пространяемая в процессе обучения ошибка пропорциональна этой производной, то процесс обучения может стать парализованным.

∙
Нет гарантии того, что получаемый в результате обучения локаль- ный минимум является хорошим решением задачи обучения.
Для улучшения сходимости алгоритма обратного распространения можно использовать, например, следующие приемы:

• 
  ∈
  

нормализация входных значений: вектор в каждой паре (, ) 𝑆
заменяется на ˜, определяемый следующим образом:

−




−
𝑎𝑒𝑎𝑔𝑒

∀ = 1, . . . , ˜
:=



𝑎



—


или
˜ :=





𝑎𝑎𝑒

где
– среднее значение,
– среднеквадратическое от-

√
𝑎𝑒𝑎𝑔𝑒
клонение (=

дисперсии),
𝑎𝑎𝑒

∙
добавление между слоями МНС промежуточных слоев, реализу- ющих линейные преобразования: если и – вектора входов и выходов такого слоя, то реализуемое этим слоем преобразование имеет вид = 𝐴 + 𝑏, где 𝐴 и 𝑏 – матрица и вектор соответству- ющих размерностей, коэффициенты матрицы 𝐴 и вектора 𝑏 тоже обучаются,

• 
  изменение структуры МНС: удаление части нейронов (dropout).
  

5. Метод опорных векторов

В этом параграфе излагается наиболее популярный метод машинного обучения – метод опорных векторов (Support Vector Machines, SVM), который был создан в 70-е годы прошлого века сотрудниками Института проблем управления АН СССР В. Н. Вапником и А. Я. Чер- воненкисом, и впервые опубликован в книге [8] (в которой он назван методом обобщенного портрета).
Данный метод предназначен для решения задач классификации и регрессионного анализа.

1. Оптимальность аппроксимирующих функций

В параграфе 2.2 рассматривалась задача нахождения по строго линейно разделимой выборке 𝑆 ⊆ R × {−1, 1} АФ 𝑎_𝑆 вида

𝑎_𝑆() = 𝑔

_{(︁ ∑︁}
− ₀)︁

такой, что 𝑄(𝑎_𝑆) = 0. Как было отмечено в этом параграфе, функция 𝑎_𝑆

∑︀

𝑃
данного вида обладает свойством 𝑄(𝑎_𝑆) = 0 тогда и только тогда, когда

гиперплоскость
, определяемая уравнением
=1
−₀ = 0
, разделяет

множества 𝑆⁺ и 𝑆⁻, т.е. 𝑆⁺ и 𝑆⁻ содержатся в разных полупростран- ствах, на которые 𝑃 делит R.
Можно доказать, что задача построения разделяющей гиперплоско- сти для строго линейно разделимой выборки 𝑆 имеет бесконечно много решений. Например, несколько различных решений данной задачи изоб- ражено на нижеследующем рисунке (в данном случае = 2):

где кружочки обозначают элементы 𝑆⁺, а квадратики - элементы 𝑆⁻.

Встает вопрос о том, можно ли ввести какие-либо меры оптимально-
сти решений данной задачи.
В качестве одной из мер оптимальности функции 𝑎_𝑆 указанного выше вида можно рассматривать, например, расстояние
𝜌(𝑆⁺ ∪ 𝑆⁻, 𝑃 ) (2.35)
между 𝑆⁺ ∪ 𝑆⁻ и 𝑃 . Напомним, что ∀ 𝐴, 𝐵 ⊆ R расстояние 𝜌(𝐴, 𝐵)

между 𝐴 и 𝐵 определяется как inf
𝑎∈𝐴,𝑏∈𝐵
|𝑎 − 𝑏 |.

Назовем полосой, разделяющей 𝑆⁺ и 𝑆⁻, и определяемой гипер- плоскостью 𝑃 , часть пространства R, заключенную между гиперплос-
костями 𝑃_𝑆⁺ и 𝑃_𝑆⁻ , которые получаются параллельным переносом ги- перплоскости 𝑃 вдоль вектора нормали к ней

• 
  по направлению к 𝑆⁺ на расстояние 𝜌(𝑃, 𝑆⁺), и
  
• 
  по направлению к 𝑆⁻ на расстояние 𝜌(𝑃, 𝑆⁻),
  

соответственно. Будем обозначать эту полосу записью [𝑃_𝑆⁺ , 𝑃_𝑆⁻ ]. Нетруд- но видеть, что во внутренней части полосы [𝑃_𝑆⁺ , 𝑃_𝑆⁻ ] точек из 𝑆⁺ и 𝑆⁻ нет.
Расстояние 𝜌(𝑃_𝑆⁺ , 𝑃_𝑆⁻ ) назовем шириной полосы [𝑃_𝑆⁺ , 𝑃_𝑆⁻ ]. Можно доказать, что (2.35) достигает максимального значения, когда ширина

полосы [𝑃_𝑆⁺ , 𝑃_𝑆⁻ ] равна 𝜌(𝑆⁺, 𝑆⁻), и 𝑃 находится посередине этой поло- сы.
Назовем гиперплоскость 𝑃 , находящуюся посередине полосы [𝑃_𝑆⁺ , 𝑃_𝑆⁻ ] с шириной 𝜌(𝑆⁺, 𝑆⁻), оптимальной гиперплоскостью, разделяющей выборку 𝑆. Ниже излагается метод построения такой гиперплоскости.
Кроме того, ниже вводится еще одна мера оптимальности АФ 𝑎_𝑆, и излагается алгоритм построения функции 𝑎_𝑆, оптимальной относительно этой меры.

2.