1 savol Замонавий маълумот узатиш тизимларининг роли ва аҳамияти

Misol 1. Xabar manbai 2 ta x_1, x₂ belgilardan iborat axborotni uzatishi kerak, ya’ni axborotdagi belgilar soni N = 2 ga teng. Ikkala element ham bir – biriga bog‘liq emas va paydo bo‘lish ehtimolliklari bir xil. U holda axborot hajmini hisoblang?
Yechish : Agar x₁ va x₂ belgilar bir – biriga bog‘liq bo‘lmasa ehtimoliklari bir – biriga teng bo‘lsa, unda R (x₁)=R(x₂)=1/N=0,5 . U holda axborot hajmi:

I_max = log ₂ 0,5 = 1 bit ga teng bo‘ladi.

O‘zaro axborot yordamida ma’lum bo‘lmagan X tizim haqidagi axborot hajmini aniqlash mumkin.

Amaliyotda X tizimning holatini to‘g‘ridan to‘g‘ri aniqlash mumkin bo‘lmaydi, bunday holatda X tizim bilan ma’lum bir darajada bog‘liq bo‘lgan Y tizimni holatini o‘rganish orqali X tizimning holati o‘rganiladi.
Masalan, kosmik korablning holatini to‘g‘ridan-to‘g‘ri nazorat qilish o‘rniga uning apparaturalaridan kelayotgan signallar to‘plamining holati o‘rganiladi va uning asosida kosmik kema to‘g‘risida ma’lumot shakllanadi. Yoki futbol matchini televizor orqali ko‘rish.
Bunda X va Y tizimlar o‘rtasida 2 turdagi farq bo‘lishi mumkin:
1) X tizimning bir xil xolatlari Y tizimda o‘z aksini topmaydi (Y tizim X tizimning holatini aniq ko‘rsatib bera olmaydi);
2) Ikki tizim o‘rtasidagi farq xatoliklar evaziga sodir bo‘ladi:
- X tizim parametrlarini aniq o‘lchamaslikdagi xatolar;
- ma’lumot uzatishda yuz beradigan xatolar. Masalan oq-qora televizorda rang yo‘qoladi, sifati shovqinlar tufayli pasayadi.
- Y tizim X tizimdan farq qiladi.
Y tizimda X tizim to‘g‘risidagi axborot miqdorining qanday hajmi uning holatini Y tizim orqali nazorat qilish imkonini beradi, degan savol tabiiy.
Bunday axborot X tizimning entropiyasi kamayganini bildiradi, chunki uning to‘g‘risidagi axborot hajmi Y tizimda mavjud, ya’ni:
L _{Y→ X} = H (X) – H (X/Y)
8. Дискрет хабарлар манбасининг энтропияси.
Umuman olganda, bo‘ysunadigan tizimning holatiga qarab boshqaradigan tizimning holatini to‘liq aniqlab bo‘lmaydi.
Bo‘ysunadigan tizim entropiyasining qiymati boshqaradigan tizim entropiyasidan kam, chunki odatda boshqaradigan tizim to‘g‘risida ma’lumot kam, bo‘ysunadigan tizim to‘g‘risidagi ma’lumot yetarli darajada bo‘ladi.
Bunday holatda, ya’ni biri boshqaradigan, boshqasi esa bo‘ysunadigan tizimlarda bir-birlari to‘g‘risida saqlanayotgan to‘liq ma’lumot miqdori bo‘ysunadigan tizimning entropiyasiga teng bo‘ladi.
X i Y tizimlardan Y bo‘ysunadigan va X boshqaradigan tizimlar bo‘lsin. Bunda H(Y/X)=0, va L _X↔Y = H (Y)
Shunday qilib, ikki tizimdan biri bo‘ysunadigan holatda tizimlarda bir-birlari to‘g‘risida saqlanayotgan to‘liq ma’lumot miqdori bo‘ysunadigan tizimning entropiyasiga teng bo‘ladi.
To‘liq ma’lumot qiymatini hisoblash formulasini shartli entropiya formulasi orqali emas, balki ikki tizimning umumiy entropiyasi va har bir tizimning entropiyasi H(X), H(Y) orqali ifodalash mumkin.
L _{X↔Y =} H (X) – H (X/Y),
H (X,Y) = H (Y) + H (X/Y)
L _Y↔X = H (X) + H (Y) – H (X, Y)
Tizimlar o‘rtasidagi o‘zaro to‘liq axborotlarni ehtimollik nazariyasi formulalari orqali ifodalanishi quyidagicha bajariladi. Buning uchun entropiya qiymatlarini matematik kutilma formulasi orqali yozib chiqamiz:
H(X)=M[-log P(X)], H(Y)=M[-log P(Y)], H(X,Y)=M[-log P(X,Y)]

9. 
   Topilmadi