№1 amaliyot ishi mavzu: Axborot xarakteristikalarini hisoblash Ishdan maqsad

p(AB)=p(A)p(A/B)=p(A)p(B/A) 
Ehtimolliklar shartli bo‘lgani sababli, shartli entropiya quyidagicha yoziladi: 

---

bu yerda i indeks A xabar manbaining ixtiyoriy xolatini tavsiflash uchun, j indeksi 
B adresatning ixtiyoriy xolatini tavsiflash uchun tanlangan. 
Birlashma entropiya statistik bog‘langan xabarlarning birgalikda paydo bo‘lish 
entropiyasini hisoblashda ishlatiladi. Masalan, xalalli aloqa kanali bo‘yicha 5 
raqamini yuz marta uzatish natijasida 5 raqami 90 marta, 6 raqami 8 marta, 4 raqami 
2 marta qabul qilindi. 5 raqami uzatilganida 5-4, 5-5, 5-6 kombinatsiyalarning paydo 
bo‘lishining noaniqligini birlashma entropiya yordamida tavsiflash mumkin. N(A,B) 
– A simvol uzatilganida B simvol qabul qilinishining noaniqligi. Uzatilgan A 
xabarlarning va qabul qilingan B xabarlarning ansambllari uchun birlashma 
entropiya quyidagi yig‘indi ko‘rinishiga ega: 
Birlashma entropiya va shartli entropiya o‘zaro quyidagi munosabat orqali 
bog‘langan. 
H(A,B)=H(A)+H(B/A)=H(B)+H(A/B), 
H(B/A)=H(A,B)-H(A); H(A/B)=H(A,B)-H(B) 
1- misol. Tajribadan maolum bo‘ldiki, uzunligi 5 ta simvoldan iborat har bir 100 
ta xabar uzatilganida A simvol 50 marta, B simvol 30 marta, B simvoli A simvoli 
bilan birgalikda 10 marta uchraydi. N(A/B) va N(B/A) shartli entropiyalar 
aniqlansin. 
Yechish. Uzatilgan simvollarning umumiy soni n = 100 * 5 = 500. 
A simvolning paydo bo‘lish extimolligi