M. A. Kamenskaya

1.2.2. Axborot va entropiya
"Entropiya" tushunchasi (yunoncha "burilish", "o'zgarish" degan ma'noni anglatadi) fizikaga 1865 yilda R. Klauzius tomonidan noaniqlikning miqdoriy o'lchovi sifatida kiritilgan. Termodinamikaning ikkinchi printsipiga ko'ra, yopiq tizimda, ya'ni termal va mexanik jihatdan izolyatsiya qilingan holda, entropiya o'zgarishsiz qoladi (agar tizimda teskari muvozanatsiz jarayonlar sodir bo'lsa) yoki ortadi (muvozanatsiz jarayonlar bilan) va muvozanat holatida maksimal darajaga etadi. Statistik fizika entropiyani (s belgisibilan ko'rsatilgan) tizimning ma'lum bir holatda bo'lish ehtimoli o'lchovi sifatida ko'rib chiqadi. L. Boltzman (1894) entropiya "ma'lumotlarning yo'qolishi" bilan bog'liqligini ta'kidladi, chunki entropiya jismoniy tizimda tegishli makroskopik ma'lumotlar allaqachon ro'yxatdan o'tkazilgandan keyin ruxsat etilgan bir-birini istisno qiladigan mumkin bo'lgan holatlar sonining kamayishi bilan birga keladi.
Statistik mexanikaga o'xshab, K. Shannon axborot nazariyasiga entropiya tushunchasini xabar manbasining xususiyati sifatida vaqt birligida chiqishda ma'lum miqdordagi signallarni hosil qilish uchun kiritdi. Xabar entropiyasi-bu (1) formulada ifodalangan xabarning chastota xarakteristikasi. "Entropiya disorganizatsiya o'lchovi bo'lgani kabi, bir qator signallar orqali uzatiladigan ma'lumotlar ham tashkilotning o'lchovidir. ­Ammo, signal orqali uzatiladigan ma'lumotni mohiyatan uning entropiyasini inkor etish va uning ehtimolligining salbiy logarifmi sifatida talqin qilish mumkin. Ya'ni­, umuman olganda, u kamroq ma'lumotni o'z ichiga oladi " [11]. Bo'linmaslik o'lchovi­-­ma'lum bir manbadan tasodifiy xabarni to'g'rilash (yozish) uchun zarur bo'lgan ikkilik belgilar soni yoki kod zanjirining o'rtacha uzunligi kodlashning eng tejamkor usuliga mos keladi.
L. Brillouin [7] negentropik bo'lmagan ma'lumot printsipini ishlab chiqdi, unga ko'ra ma'lumot teskari entropiya (negentropiya). Brillouin ma'lumot (/) va entropiyani (S) bir xil birliklarda — axborot (bitlar) yoki jismoniy (erg/grad) ifodalashni taklif qildi. Tizimning tartibsizligi o'lchovi sifatida ko'rib chiqilgan entropiyadan farqli o'laroq­, negentropiya uning o'lchovidir­tartiblangannost.
Ehtimoliy yondashuvni qo'llagan­holda, biz quyidagicha fikr yuritishimiz mumkin [29].
Aytaylik, jismoniy tizimda bir nechta­tik turish mumkin. Ekvivning fizik tizimi haqidagi­ma'lumotlarning ko'payishi ushbu tizimni­tik turgan holda aniq bir joyda mahkamlash bilan bog'liq bo'lib, bu tizim entropiyasining pasayishiga olib keladi, ya'ni I + + S= \ u003d const. Tizim haqida qancha ko'p narsa ma'lum bo'lsa, uning­entrosi shunchalik kam bo'ladi. Tizim haqida ma'lumot yo'qolganda, ushbu tizimning entropiyasi oshadi. Tizim haqidagi ma'lumotni faqat tizimdan­tashqaridagi muhitda entropiya miqdorini aniqlash orqali oshirish mumkin va barcha­гда AS_{GDA as e} \ u003e /.
Termodinamikaning ikkinchi printsipiga ko'ra, yopiq tizimning entropiyasi vaqt o'tishi bilan kamaymaydi. Ma'lum bo'lishicha, yopiq tizimda (masalan, matnda)­to'g'ridan-to'g'ri qabul qilish entrosining ko'payishi faqat ma'lumotni "unutish" ni anglatishi mumkin, shunda­храняется соотношение i + S \ u003d const nisbaticonstsaqlanadi. Bunday holda, yangi ma'lumotlarning paydo bo'lishi faqat ochiq tizimda mumkin, bu erda­tartib rametrlari dinamik o'zgaruvchiga aylanadi.