Искусственные нейронные сети (НС)

Выбор длины шага
Вообще говоря, лучший выбор длины шага — точная одномерная оптимизация функции E вдоль вектора антиградиента. Требуется найти минимум функции

где P₀ — текущий вектор параметров, ε > 0 — независимая переменная. Найденное значение ε_ОПТ =

min E₁(ε) даст требуемую длину шага на данной итерации.

Рис. . Одномерная оптимизация для поиска длины шага.
Cуществует множество способов для решения задачи одномерной оптимизации: дихотомии, метод Ньютона, Фибоначчи, золотого сечения. Применительно к нейросетям все эти методы имеют недостаток: каждый расчет значения E требует больших затрат времени и расчета выходов всех нейронов в сети. Поэтому часто оказывается выгоднее вообще не проводить одномерного поиска, а взять в (5) шаг ε = const, пропорциональный градиенту или априорную зависимость от времени обучения ε = ε(t) для коэффициента пропорциональности между длиной шага и градиентом. Неудачный выбор априорных данных может привести к следующим последствиям
1) неточности обучения: оказавшись в окрестности локального минимума, когда требуются малые длины шага для точной настройки параметров, алгоритм с большим шагом даст неточные значения параметров;
2) медленному обучению: если шаг слишком малый, обучение может стать недопустимо медленным;
3) отсутствию сходимости, параличу сети и другим проблемам при очень большой длине шага;


Элементы глобальной оптимизации
Все представленные ранее методы обучения нейронных сетей являются локальными. Они ведут к одному из локальных минимумов целевой функции, лежащему в окрестности точки начала обучения. Только в ситуации, когда значение глобального минимума известно, удается оценить, находится ли найденный локальный минимум в достаточной близости от искомого решения. Если локальное решение признается неудовлетворительным, следует повторить процесс обучения при других начальных значениях весов и с другими управляющими параметрами. Можно либо проигнорировать полученное решение и начать обучение при новых (как правило, случайных) значениях весов, либо изменить случайным образом найденное локальное решение (встряхивание весов) и продолжить обучение сети.
При случайном приращении весов переход в новую точку связан с определенной вероятностью того, что возобновление процесса обучения выведет поиск из "сферы притяжения" локального минимума.
При решении реальных задач в общем случае даже приблизительная оценка глобального минимума оказывается неизвестной. По этой причине возникает необходимость применения методов глобальной оптимизации. Рассмотрим три из разработанных подходов к глобальной оптимизации: метод имитации отжига, генетические алгоритмы и метод виртуальных частиц.