Искусственные нейронные сети (НС)

Активационные функции

1. 
   Жесткая ступенька:
   

Рис. Жесткая ступенька.
Здесь θ – пороговый уровень нейрона. Данная функция используется в классическом искусственном нейроне. Нейроны с такой нелинейностью требуют малых вычислительных затрат. Данная функция чрезмерно упрощена и не позволяет моделировать схемы с непрерывными сигналами. Отсутствие первой производной затрудняет применение градиентных методов для обучения таких нейронов.

2. 
   Логистическая функция (сигмоида):
   

Рис. Логистическая функция.
Эта функция часто применяется для сетей с непрерывными сигналами.
Она симметрична относительно точки с координатами NET = 0, OUT = 0,5, что делает равноправными значения OUT = 0 и OUT = 1. Тем не менее диапазон выходных значений от 0 до 1 несимметричен, что замедляет обучение соответствующей нейронной сети. Данная функция является сжимающей, т.к для малых значений NET коэффициент передачи K = OUT/NET велик, для больших значений он снижается. Поэтому диапазон сигналов, с которыми нейрон работает без насыщения, оказывается широким. Производная непрерывна и легко выражается через саму функцию, что ускоряет обучение нейрона.

3. 
   Гиперболический тангенс:
   

Рис. Гиперболический тангенс
Также часто применяется для сетей с непрерывными сигналами. Фунция симметрична относительно точки (0, 0), что является преимуществом по сравнению с сигмоидой. Производная также непрерывна и легко выражается через саму функцию.

4. 
   Пологая ступенька:
   

Легко рассчитывается, но имеет разрывную производную в точках NET = θ, NET = θ + Δ, что усложняет алгоритм обучения.

Рис. Пологая ступенька.

5. 
   Гауссова кривая: .
   

Рис. Гауссова кривая.
Применяется в случаях, когда реакция нейрона должна быть максимальной для некоторого определенного значения NET.
Выбор функции активации определяется следующими факторами:

1. 
   Спецификой задачи.
   
2. 
   Удобством реализации на ЭВМ, в виде электрической схемы или другим способом.
   
3. 
   Алгоритмом обучения: некоторые алгоритмы накладывают ограничения на вид функции акти­вации, что необходимо учитывать.
   

Чаше всего вид нелинейности не оказывает принципиального влияния на решение задачи. Одна­ко удачный выбор может сократить время обучения в несколько раз.