Моя страничка

3. Количество информации

Существуют следующие способы измерения информации:

• 
  энтропийный (вероятностный);
  
• 
  объемный;
  

3.1. Энтропийный способ

В теории информации и кодирования принят энтропийный или вероятностный подход к измерению информации. Количество информации – это числовая характеристика сигнала, которая отражает ту степень неопределенности (неполноту) знаний, которая исчезает после получения сообщения в виде данного сигнала. Меру неопределенности в теории информации называют энтропией, следовательно, метод называется энтропийным.
Неопределенность можно охарактеризовать количеством возможных выборов действий в конкретной ситуации, а полученную информацию величиной, на которую уменьшилась степень неопределенности. При полной информации выбора нет.
Пример 1. Необходимо найти дом, в котором на какой-то известной улице живет нужный человек. Информация о том, что номер дома четный уменьшит неопределенность в два раза.
Пример 2. Человек бросает монету и наблюдает какой стороной она упадет. Обе стороны монеты равноценны, поэтому вероятности того, что она упадет орлом или решкой одинаковы. Такой ситуации приписывается начальная неопределенность, характеризуемая двумя возможностями. Когда монета упадет, неопределенность равна 0.
Этот пример относится к группе событий, применительно к которым можно поставить вопрос типа «Да – Нет». Количество информации, которое можно получить при ответе на такой вопрос называется битом (binary digit).
Бит - это минимальная единица количества информации, т. к. получить информацию меньше одного бита нельзя. При получении информации в один бит неопределенность уменьшается в два раза. Таким образом, бросание монеты дает информацию 1 бит.
Пример 3. Рассмотрим систему из 2 электрических лампочек, которые независимо друг от друга могут быть включены или выключены. Такая система может иметь следующие состояния:

Лампа А	0	0	1	1
Лампа В	0	1	0	1

Чтобы получить информацию об этой системе, надо задать два вопроса: о лампочке А и о лампочке В., т. е. количество информации, содержащейся в этой системе I=2бита, а количество возможных состояний системы N=4.
Если взять 3 лампочки , то количество информации Iбудет равно 3бита, а количество возможных состояний системы N=8.
Связь между количеством информации и числом состояний системы устанавливается формулой Хартли
,
где N- количество возможных состояний системы (или количество равновероятных событий),
I – количество бит в сообщении о том, что такое событие произошло.
Ту же формулу можно записать
.
Если события не равновероятны, то количество бит в сообщении о том, что произошло данное событие будет равно
,
где - вероятность того, что произойдет j –е событие.