Методы лингвистических исследований

n
Н= — ∑ р(i) log₂ р(i)
i = 1

где вероятность сигнала i обозначена через р (i); i принимает значение 1,2...n; ∑— знак суммы.

Итак, количество информации рассчитывается по формуле:
[p (1) log₂ p (1)+p (2) log₂ p(2)…+p (n) log₂ p (n). ]
В русском языке количество информации, например в фонеме, равно 4,76 ед.
Для сравнения различных сообщений есть понятие относи-тельной энтропии и избыточности. Относительная энтропия пред-ставляет собой отношение действительного количества информации (Н ) в сигнале к максимальному количеству информации сигналов из возможных при данном числе сигналов: максимальная энтропия (H_макс.) равна количеству информации при равновероятности всех сигналов (Н₀ = log_n). Избыточность (R) равна разности между едини-цей и относительной энтропией:
R = 1 – Н _отн. ; Н _отн. = Н : Н₀.
Например, русский «телеграфный» алфавит содержит 32 знака. Если все буквы считаются равновероятными (Н₀), то информация, содержащаяся в одной букве, будет: Н₀ = log 32 = ~ 1,505 десят. ед.
Подсчитано, что средняя информация, содержащаяся во фразе второго порядка вероятности, то есть при наличии двух предшествующих букв (по-, ду-, на-, эн-, об- и т. п.), равна 0,905 (Н₃). Относительная энтропия может быть определена:
Н : Н₀ = Н ₃ : Н₀ =1 – 0,905 : 1,505 = ~ 0,6.
Следовательно, избыточность букв для русского языка равна не менее 0,4:
R = 1 – Н ₃ : Н₀ = 1 – 0,905 : 1,505 = ~ 0,4.