№1 amaliyot ishi mavzu: Axborot xarakteristikalarini hisoblash Ishdan maqsad

0,2; p(0/0) = 0,8; p(0/1) = 0,2. Birinchi va ikkinchi xollardagi xabarlar entropiyasi 
aniqlansin. 
№ 2 AMALIYOT ISHI 
Mavzu: Optimal kodlash. Optimal kodlarni qurishning Shennon-Fano 
algoritmi 
Ishdan maqsad: Optimal kodlash. Optimal kodlarni qurishning Shennon-Fano 
algoritmi bilan tanishish va nazariy bilimlarni mustaxkamlash. 
Nazariy qism. 
Xabar ortiqchaligini kamaytirishning samarali usuli optimal kodlarni qurish 
hisoblanadi.
Optimal kodlar kod soo‘zlarining minimal oo‘rtacha uzunligiga ega boo‘ladi. 
Kod kombinatsiyalarining oo‘rtacha uzunligi quyidagicha hisoblanadi: 

---

bu erda n
i
- A
i
elementiga mos keluvchi kod kombinatsiyasining uzunligi. 
Optimal kodlarni qurishda Shennon-Fano algoritmi keng tarqalgan. Ushbu 
algoritmga binoan optimal kodni qurish quyidagicha amalga oshiriladi.
1. 
Xabarlar alfavitining harflari extimolliklarining pasayishi tartibida 
joylashtiriladi. 
2. 
Kodlanuvchi harflar alfaviti ikkita guruxga shunday ajiratiladiki, ikkala 
guruxdagi harflar extimolliklarining yigindilari iloji boricha teng boo‘lsin.
3. 
fYuqori guruxga 0 simvoli, pastki guruxga 1 simvoli beriladi.
4. 
Xosil boo‘lgan qism guruxlar oo‘z navbatida ikki qismga shunday 
ajratiladiki, yangidan xosil boo‘lgan qism guruhlardagi harflar extimolliklarining 
yigindilari iloji boricha teng boo‘lsin va xokazo. 
5. 
Jarayon xar bir qism guruxda bitta harf qolgunicha qaytariladi. 
Ushbu (yoki shunga oo‘xshash) algoritm boo‘yicha qurilgan va kod soo‘zining 
minimal oo‘rtacha uzunligiga ega boo‘lgan kodlar optimal notekis kodlar deb 
ataladi. Bunday kodlar quyidagi shartni qanoatlantirsa maksimal samarali 
hisoblanadi.