Москва 2008 предисловие

1.2.2. Информация и энтропия
Понятие «энтропия» (от греческого слова, означающего «поворот», «превращение») было введено в физику в 1865 г. Р.Клаузиусом как количественная мера неопределенности. Согласно второму началу термодинамики, в замкнутой системе, т.е. в изолированной в тепловом и механическом отношении, энтропия либо остается неизменной (если в системе протекают обратимые неравновесные процессы), либо возрастает (при неравновесных процессах) и при состоянии равновесия достигает максимума. Статистическая физика рассматривает энтропию (обозначаемую символом S) в качестве меры вероятности пребывания системы в данном состоянии. Л.Больцман отмечал (1894 г.), что энтропия связана с «потерей информации», поскольку энтропия сопровождается уменьшением числа взаимоисключающих возможных состояний, которые остаются допустимыми в физической системе после того, как относящаяся к ней макроскопическая информация уже зарегистрирована.
По аналогии со статистической механикой К. Шеннон ввел в теорию информации понятие энтропии в качестве свойства источника сообщений порождать в единицу времени то или иное число сигналов на выходе. Энтропия сообщения — это частотная характеристика сообщения, выражаемая формулой (1). «Как энтропия есть мера дезорганизации, так и передаваемая рядом сигналов информация является мерой организации. Действитель­но, передаваемую сигналом информацию возможно толковать, по существу, как отрицание ее энтропии и как отрицательный логарифм ее вероятности. То есть чем более вероятно сообще­ние, тем меньше оно содержит информации» [11]. Мера неопре­деленности — число двоичных знаков, необходимое для фикси­рования (записи) произвольного сообщения от конкретного источника, либо среднее значение длины кодовой цепочки, соответствующее самому экономному способу кодирования.
Л. Бриллюэн [7] развил так называемый негэнтропийный принцип информации, согласно которому информация — это энтропия с обратным знаком (негэнтропия). Бриллюэн предложил выражать информацию (/) и энтропию (S) в одних и тех же единицах — информационных (биты) либо физических (эрг/град). В отличие от энтропии, рассматриваемой в качестве меры не­упорядоченности системы, негэнтропия — мера ее упорядочен­ности.
Применяя вероятностный подход, можно рассуждать следую­щим образом [29].
Допустим, физическая система имеет несколько возможных со­стояний. Увеличение информации о физической системе эквива­лентно фиксированию этой системы в одном определенном со­стоянии, что приведет к уменьшению энтропии системы, т.е. I + + S= const. Чем больше известно о системе, тем меньше ее энтро­пия. При утрате информации о системе возрастает энтропия этой системы. Увеличивать информацию о системе можно, лишь уве­личивая количество энтропии в среде вне системы, причем все­гда AS_e > /.
В соответствии со вторым началом термодинамики энтропия замкнутой системы не может убывать со временем. Получается, что в замкнутой системе (например, в тексте) увеличение энтро­пии может означать только «забывание» информации, так что со­храняется соотношение I + S = const. При этом возникновение новой информации возможно только в открытой системе, где па­раметры порядка становятся динамическими переменными.