№1 Амалиёт машғулоти

Мисол 1. Хабар манбаи 2 та х_1, х₂ белгилардан иборат ахборотни узатиши керак, яъни ахборотдаги белгилар сони N = 2 га тенг. Иккала элемент ҳам бир – бирига боғлиқ эмас ва пайдо бўлиш эҳтимолликлари бир хил. У ҳолда ахборот ҳажмини ҳисобланг.
Ечиш : Агар х₁ ва х₂ белгилар бир – бирига боғлиқ бўлмаса эҳтимоликлари бир – бирига тенг бўлса, унда Р (х₁)=Р(х₂)=1/N=0,5 .У ҳолда axборот ҳажмини:
I_max = loq ₂ 0,5 = 1 бит
Агар ахборотдаги белгилларни пайдо бўлиш эҳтимолликлари бир – бирига тенг бўлмаса ахборот ҳажмини камаяди, яъни у қуйидагича аниқланади. n
I = - Σ p (x_i) loq ₂ P (x_i) бит/ элемент (1.2)
i=1
Агарда ахборотдаги белгиларнинг эҳтимолликлари тенг
бўлмасликдан ташқари, яна бир – бирига боғлиқ бўлса, унда хабардаги ахборот ҳажми янаям камайиб кетади ва қуйидагига тенг:
n
I = - Σ Р (x_i/xj) loq ₂ [P (x_i/ xj)],бит/ элемент (1.3)
i=1
бу ерда Р (x_i/xj) – i – белгининг j - белгидан кейин пайдо бўлиш эҳтимоллиги.
Мисол 2. Ахборотдаги умумий белгиллар сони N = 32 га тенг ва барча белгилларнинг пайдо бўлиш эҳтимолликлари бир – бирига тенг. У ҳолда ахборот хажмини хисобланг.
Ечиш: Агарда барча белгилларнинг пайдо бўлиш эҳтимолликлари
бир – бирига тенг бўлса р = 1/N = 1/32 бўлади. У холда ахборот ҳажмини:
I = loq₂ (1/p) = loq ₂ N = loq ₂ 32 = 5 бит.
Мисол 3. Ахборот фақат 0 ва 1 блгиллардан иборат бўлсин яъни N = 2 га тенг. У холда 1 нинг пайдо бўлиш эхтимоли р (1) = 0,25 га тенг.Хабардаги ҳамма элементлар эҳтимоллиги тенг эмас. У ҳолда ахборот хажмини ҳисобланг.
Ечиш: Ахборотдаги белгилларнинг пайдо бўлиш эхтимоллиги хар хил бўлганлиги учун ахборот ҳажми қуйидагига тенг:
I = p (1) loq₂ 1/p (1) + p(0) loq₂ 1/p(0) = 1/4loq₂ 4 +3/4 loq₂4/3 = 0,8 бит.
Шундай қилиб, хабардаги элементларнинг эҳтимолликлари тенг бўлмаганда ахборот миқдори камаяди.
Ахборотдаги белгилларнинг пойдо бўлиши эхтимоллиги билан ахборот хажми ўртасидаги боғлиқ Клод Шеннон теоремасида ўз ифодасини топган, яъни ахборотдаги ҳар бир белгига мос келувчи ахборотни ўртача ҳажми (сонига) энтропия деб юритилади ва қуйидагича аниқланади.
n
Н(А) = - Σ Р (x_i) loq ₂ P (x_i) бит/ элемент (1.4)
i=1
Энтропия – бу хабарлар манбаининг ҳолатидаги ноаниқлигининг ўлчови ҳам ҳисобланади. Агар манба томонидан 1 га тенг эҳтимоли билан фақат битта белги узатилаётган бўлса, у ҳолда энтропия нолга тенгдир. Агар хабар манбаидан узатилаётган белгилар бир хил эҳтимолли билан пайдо бўлса, энтропия максимал бўлади.
Хабар манбаи энтропиясини аниқлаймиз. Агар N = 2 ва p(x₁) = p(x₂)=0,5 бўлса, у ҳолда:
n
Н(А) = - Σ Р (x_i) loq ₂ P (x_i) =-0,5 loq₂ 0,5 – 0,5 loq₂ 0,5=1 бит
i=1