Книга представляет собой введение в основные понятия, методы и ал

Предсказательная модель в виде нейронной сети

В современных технологиях машинного обучения очень популярны пред- сказательные модели, основанные на нейронных сетях.
Данные модели используют преобразователи информации, являющи- еся аналогами биологических нейронов. Структура биологического ней- рона изображена на следующей картинке:

Преобразование информации в нейроне происходит в его центральной части (называемой телом), от которой отходят отростки двух типов:

∙
дендриты, по ним поступают входные сигналы, будем считать дендриты занумерованными натуральными числами 1, . . . , ,

∙
аксон, отросток такого типа ровно один, по нему проходит выход- ной сигнал.
Схема работы нейрона имеет следующий вид: с каждым из дендритов связано некоторое неотрицательное действительное число, называемое весовым коэффициентом (или просто весом). Обозначим записью

∀

≥
₁, . . . , список весов, соответствующих каждому из дендритов ( = 1, . . . , дендриту номер соответствует вес ). Кроме того, с нейроном связано число ₀ 0, называемое порогом возбуждения.
Сигналы, поступаемые в нейрон по дендритам, являются электриче- скими импульсами различной интенсивности. Обозначим записью ¹, . . .,
список интенсивностей сигналов, поступивших в текущий момент по

∀

∑︀
каждому из дендритов ( = 1, . . . , – интенсивность сигнала, посту- пившего на нейрон номер ). Данные сигналы вызывают в центральной
части нейрона электрический импульс интенсивности , и

=1

∙
если интенсивность этого импульса превышает порог возбуждения нейрона ₀, то нейрон выпускает по аксону выходной сигнал неко- торой интенсивности,

∙
иначе по аксону выходной сигнал не выпускается (мы будем счи- тать, что в этом случае по аксону выпускается выходной сигнал нулевой интенсивности).
Нейрон можно рассматривать как преобразователь числовой инфор- мации: на его вход поступает кортеж действительных чисел (¹, . . . , ), на выход он выдает число 𝑎, определяемое соотношением

𝑎 = 𝜎

_{(︁ ∑︁}
− ₀)︁

где 𝜎 – функция (называемая функцией активации), сопоставляющая неотрицательным числам значение 1, и отрицательным числам – значе- ние 0. Функционирование нейрона изображается диаграммой

Ниже мы будем называть нейронами не только биологические ней- роны, но также и произвольные преобразователи числовой информации, работающие по описанному выше принципу.

Функция активации (𝜎) в нейронах может иметь не только описанный выше вид, но также и другой вид, например:

• 
  
  1+𝑒
  
  
  
  сигмоида: 𝜎() = ¹₋
  

, или th(),

•