Книга представляет собой введение в основные понятия, методы и ал

Метод обратного распространения ошиб- ки для обучения нейронных сетей

1. Идея метода

Излагаемый в этом параграфе метод обратного распространения ошибки (error back propagation), или более коротко – метод об- ратного распространения (МОР), используется при обучении мно- гослойных нейронных сетей (МНС). Данный метод является модифи- кацией метода градиентного спуска. Впервые МОР был описан в 1974 г. А. И. Галушкиным, а также независимо и одновременно Полом Дж. Вербосом.
Идея МОР состоит в распространении сигналов ошибки от выходов МНС к ее входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Опишем эту идею более подробно.
Напомним, что компонентами МНС являются нейроны,

• 
  на вход нейрона поступает кортеж чисел вида (¹, . . . , ) ∈ R,
  
• 
  
  =
  на выходе нейрон выдает число 𝑎 ^def 𝜎(︁⟨, ⟩ −₀)︁, где 𝜎 – функция
  

активации.
Структуру МНС можно представить диаграммой вида

(2.32)
(на данной диаграмме изображена МНС с двумя слоями).

При заданной совокупности значений весовых коэффициентов эта МНС определяет функцию 𝑎, отображающую каждый входной век- тор ∈ R в выходной вектор 𝑎() ∈ R^𝑀 . Если задана обучающая

⊆ × ∈
выборка 𝑆 R R^𝑀 , то ошибкой данной МНС на паре (, ) 𝑆
называется число

1
𝑄(, , ) = ₂ |𝑎
() − |². (2.33)

Задача алгоритма МОР заключается в нахождении такой совокуп- ности весовых коэффициентов данной МНС, которые делают ошиб- ки (2.33) как можно меньше. Алгоритм МОР решает эту задачу путем выполнения нескольких итераций, каждая из которых состоит из двух частей:

• 
  выбор пары (, ) ∈ 𝑆,
  

∙
нахождение ошибки (2.33) на выбранной паре (, ) при текущем наборе весовых коэффициентов путем вычисления в «прямом направлении» (слева направо) выходов всех нейронов,

∙
коррекция весовых коэффициентов путем вычисления в «об- ратном направлении» (сначала корректируются весовые коэффи- циенты последнего слоя, затем - предпоследнего, и т.д.).