Ta‟lim vazirligi muhammad al-xorazmiy nomidagi

Xabarlar manbai uchun Shennon teoremasi. Klod Shennon tomonidan 1948 yilda ta‘riflangan asosiy kodlash teoremasi H(A) manbaning entropiyasi va ñ kodli so‗z ikkilik simvollarining o‗rtacha soni orasidagi bog‗lanishni o‗rnatadi:

• 
  istalgan bir qiymatli kod uchun doimo quyidagi tengsizlik bajariladi:
  

n^~  H (A)

• 
  quyidagi tengsizlik bajariladigan bir qiymatli dekodlanadigan kod mavjud:
  

n^~  H(A) 1

Bu kodli so‗zning o‗rtacha uzunligi entropiyadan kichik bo‗ladigan manbani kodlash mumkin emasligini bildiradi. Bundan tashqari, kodli so‗zning o‗rtacha uzunligi manba entropiyasidan birmuncha katta bo‗ladigan kod albatta mavjud bo‗ladi.

Xabarlar manbai kanalning o‗tkazish qobiliyatidan kichik bo‗ladigan har qanday unumdorligida manba ishlab chiqaradigan barcha xabarlarni aloqa kanali bo‗yicha uzatilishiga imkon beradigan kodlash usuli mavjud bo‗ladi.
Agar manbaning unumdorligi kanalning o‗tkazish qobiliyatidan ortiq bo‗lsa, cheklanmagan xabarlarni uzatilishini ta‘minlaydigan kodlash usuli mavjud emas.
Shennon yaratgan nazariya asosida nutq, faksimil va televizion xabarlardagi ortiqchaliklarni sezilarli qisqartirishga imkon beradigan algoritmlar ishlab chiqilgan. Bu qayd etilgan, mobil va sun‘iy yo‗ldoshli samarador raqamli tizimlar, shuningdek raqamli ovoz va televizion uzatishning keskin rivojlanishiga olib keldi.
O‗zaro ma‘lumotlar tushunchasi ma‘lumotlarni uzatish nazariyasida keng ishlatiladi. O‗zaro ma‘lumotlarga talablar iste‘molchi qaysi ma‘lumotlar bilan ishlashiga bog‗liq ravishda turlicha bo‗ladi.
Agar X va Y aloqa kanalining kirishi va chiqishidagi xabarlar bo‗lsa, u holda iloji boricha ko‗p ma‘lumotlarni olish uchun uning qabul qiluvchisida o‗zaro ma‘lumotlar uncha katta bo‗lmagan bo‗lishi kerak. U holda H(X/Y) shartli entropiya bu aloqa kanalidagi ma‘lumotlarning yo‗qotilishi (kanalning ishonchsizligi) hisoblanadi.
H(X/Y) shartli entropiya bu aloqa kanaliga tashqaridan keladigan yoki kanaldagi ichki halaqitlar hosil qiladigan halaqitlar haqidagi ma‘lumotlar ((H(n) halaqitlar manbai entropiyasi) hisoblanadi.