10. Хабарлар манбаи учун Шеннон теоремаси. 3-Maruza

10. Хабарлар манбаи учун Шеннон теоремаси. 3-Maruza
Шовқинсиз алоқа каналлари орқали узатиладиган маълумотларни самарали кодлаштириш Шеннон теоремасига асосланади:
Агар маълумот манбаининг энтропияси Н [бит/символ] га ва алоқа каналининг узатиш қобилияти С [бит/сек] га (алоқа каналининг узатиш қобилияти деганда, унинг энг максимал маълумот узатиш тезлигини таъминлаши тушунилади) тенг бўлса , ҳар доим шундай кодлаш усулини топиш мумкинки, каналда маълумот узатиш тезлигининг ўртача қиймати ушбу формула негизида ҳисобланган тезликга тенг бўлади:

Н- маълумот манбанинг энтропияси;
С- алоқа каналининг узатиш қобилияти.

11. Ахборотни кодлаш усуллари. 4-Maruza

12. Шаннон-Фано усули бўйича ахборотни кодлаш. 3-Maruza
Шеннон - Фано коди пайдо бўлгунча алоқа каналлари орқали узатилаётган ахборотлардаги белгилар узунлиги бир хил бўлган битлар ёрдамида кодлаштирилар эди.
Шеннон - Фано коди пайдо бўлгандан сўнг узатилаётган ахборотдаги ҳар бир белгининг пайдо бўлиш эҳтимоллигига қараб туриб, узунлиги ҳар хил бўлган битлар ёрдамида кодлаш имконияти пайдо бўлди.
Ахборотда бирор бир белгининг пайдо бўлиш эҳтимоллиги каттароқ бўлса, уни иккилик саноқ тизимидаги кодининг узунлиги “кичикроқ бит” бўлади.
Агар ахборотда бирор бир белгининг пайдо бўлиш эҳтимоллиги кичикроқ бўлса, уни иккилик саноқ тизимидаги кодининг узунлиги “каттароқ бит” бўлади.
Ушбу алгоритм ёрдамида ахборотни кодлаштириш қуйидагича амалга оширилади:

• 
  ахборотдаги барча белгиларнинг умумий сони N ҳисобланади;
  
• 
  N та белгидан иборат бўлган ахборотдан ҳар бир белгининг пайдо бўлиш частотаси ёки пайдо бўлиш эхтимоллиги ҳисобланади;
  
• 
  ҳар бир белгининг пайдо бўлиш частотаси камайиб бориш тартибида жадвалга жойлаштирилади;
  
• 
  умумий бўлган жадвалдаги йиғинди тенг иккига бўлинади ва тепа қисмига «1» ни, пастки қисмига «0» ни қўйилади;
  
• 
  тенг иккига бўлиш кодлаштирилаётган ахборотдаги ҳар бир белгига биттадан «1» ёки «0» қолгунча давом эттирилади;