Ta‟lim vazirligi muhammad al-xorazmiy nomidagi

Misol 1. Xabar manbai ikkita x_1, x₂ belgilardan iborat axborotni uzatishi kerak, ya‘ni axborotdagi belgilar soni N=2 ga teng. Ikkala belgi ham bir – biriga bog‗liq emas va paydo bo‗lish ehtimolliklari bir xil. U holda axborot hajmini hisoblang?
Yechish: Agar x₁ va x₂ belgilar bir – biriga bog‗liq bo‗lmasa, ehtimolliklari bir – biriga teng bo‗lsa, unda P(x₁)=P(x₂)=1/N=0,5 ga teng bo‗ladi.
U holda axborot hajmi quyidagicha bo‗ladi:

I_max  log₂ 0,5  1 _.

Agar axborotdagi belgilarni paydo bo‗lish ehtimolliklari bir – biriga teng bo‗lmasa axborot hajmi kamayadi, ya‘ni u quyidagicha aniqlanadi:

n



I  _ P(x_i ) log ₂ P(x_i )
i1

Agar axborotdagi belgilarning ehtimolliklari teng bo‗lmaslikdan tashqari, yana bir – biriga bog‗liq bo‗lsa, unda xabardagi axborot hajmi yanayam kamayib ketadi va quyidagiga teng bo‗ladi:

I  _
i1
P( ^xi
x_{j i}
) log₂
P( ^xi )
x_j

bu yerda
ehtimolligi.
P( ^xi )
x _j

• 
  i – belgining j - belgidan keyin paydo bo‗lish
  

Misol_2'>Misol 2. Axborotdagi umumiy belgilar soni N=32 ga teng va barcha belgilarning paydo bo‗lish ehtimolliklari bir – biriga teng. U holda axborot hajmini hisoblang.
Yechish: Agarda barcha belgilarning paydo bo‗lish ehtimolliklari bir

• 
  biriga teng bo‗lsa
  

P  ¹  ¹
N 32
bo‗ladi. U holda axborot hajmi:

1
I  log₂ ( _P )
 log₂ N
 log₂
32  5

Misol 3. Axborot faqat 0 va 1 belgilardan iborat bo‗lsin, ya‘ni N=2 ga teng. U holda 1 ning paydo bo‗lish ehtimoli P(1)=0,25 ga teng. Xabardagi hamma belgilar ehtimolligi teng emas. U holda axborot hajmini hisoblang.
Yechish: Axborotdagi belgilarning paydo bo‗lish ehtimolligi har xil bo‗lganligi uchun axborot hajmi quyidagiga teng:

_{I } ^{P(1) log} ₂ ⁽¹⁾ _ ^{P(0) log} ₂ ¹ _ 1
1 _{) } 3
³  0,8

P(1)
P(0)
( ₄ log _{2 4}
( ₄) log ₂ ( ₄)

Shunday qilib, xabardagi belgilarning ehtimolliklari teng bo‗lmaganda axborot miqdori kamayadi.
Axborotdagi belgilarning paydo bo‗lish ehtimolligi bilan axborot hajmi o‗rtasidagi bog‗liqlik Klod Shennon teoremasida o‗z ifodasini topgan, ya‘ni axborotdagi har bir belgiga mos keluvchi axborotni o‗rtacha hajmi (soniga) entropiya deb yuritiladi va quyidagicha aniqlanadi.

H ( A)  _ p(x_i ) log ₂
i1


p(x_i )

Entropiya – bu xabarlar manbaining holatidagi noaniqligining o‗lchovi ham hisoblanadi. Agar manba tomonidan 1 ga teng ehtimoli bilan faqat bitta belgi uzatilayotgan bo‗lsa, u holda entropiya nolga tengdir. Agar xabar manbaidan uzatilayotgan belgilar bir xil ehtimollik bilan paydo bo‗lsa, entropiya maksimal bo‗ladi.
Xabar manbai entropiyasini aniqlaymiz. Agar N=2 va P(x₁)= P(x₂)=0,5 bo‗lsa, u holda:



2



H ( A)  _ P(a_i ) log ₂ P(a_i )  0,5 log ₂ 0,5  0,5 log ₂ 0,5  1
i1