№1 Амалиёт машғулоти

№1 Лаборатория машғулоти
Мавзу: Ахборот ҳажми ва энтропияни ҳисоблаш
Машғулот мақсади:

1. 
   Ахборот ҳажми ва энтропияни ҳисоблашни ўрганиш.
   
2. 
   Хабар манбаида белгиларнинг пайдо бўлиш эҳтимолигини ахборот ҳажмини ўзгартириши мумкинлигини ўрганиш.
   

Назарий маълумот
Ахборот – бу узатиш, қабул қилиш, сақлаш ва қайта ишлаш учун мўлжалланган маълумотлар тўплами. Ахборотни ифода қилиш кўринишига хабар дейилади. Хабарлар узлуксиз ва дискрет кўринишида бўлиши мумкин. Расм 1.1 да электралоқа тармоғининг умумлашган кўриниши келтирилган. Маълумотларни узатиш электралоқа тармоқларида хабарни дискрет сигналлар кўринишидаги тури ёрдамида 2 та фойдаланувчи ўртасида ахборот алмашиниш амалга оширилади. Бундай тармоқларда охирги қурилмалар хисобланадиган хабар манбаи ва хабар олувчилар таркибига телеграф аппарати, факс терминали, маълумотлар узатиш қурилмаси яъни шахсий комьпютерлар киради. Электралоқа тармоқларида ахборот ҳажмини ҳисоблаш жуда муҳим аҳамиятга эга. Чунки, ахборот ҳажмини билган ҳолда электралоқа тармоқларининг қуйидаги кўрсаткичларини аниқлаш мумкин: каналнинг ўтказувчанлик қобиляти ва ахборотнинг узатиш тезлигини.

Хабар
манбаи

Хабар
олувчи

Алоқа канали

Расм 1.1 Электралоқа тармоғининг умумлашган кўриниши

Дискрет хабар таркибидаги ахборот ҳажмини ўлчаш бирлиги бит ҳисобланади. У ёки бу хабар пайдо бўлиш эҳтимоллиги қанчалик кам бўлса, унинг қабулидаги олинадиган ахборот шунчалик кўп бўлади. Агар хабар манбаи хотирасида бир – биридан ҳоли (х₁ ва х₂) хабарлар бўлиб, улардан биринчисининг Р(х₁) = 1 эҳтимоллик билан узатиладиган бўлса, у ҳолда х₁ хабар ахборот ташимайди, чунки у олдиндан хабар олувчига маълум деб ҳисобланади.
Битта хабарга (х_i) тўғри келадиган ахборот ҳажми қуйидагича аниқланади:
I (a_i) = loq ₂ [1/P (x₁)] = loq ₂ P (x₁) (1.1)
бу ерда P (x_i) – хабардаги x_i белгининг пайдо бўлиш эҳтимоллиги.