Ta‟lim vazirligi muhammad al-xorazmiy nomidagi

Nazorat savollari:

1. 
   Xabarlar manbai uchun Shennon teoremasi?
   
2. 
   O‗zaro ma‘lumotlar deganda nima tushunasiz?
   
3. 
   Shartli va shartsiz o‗zaro ma‘lumotlar deganda nima tushunasiz?
   

2. bob. AXBOROTNI KODLASH, ARXIVLASH VA SIQISH

1. Axborotni kodlash usullari. Shennon – Fano, Xaffman teoremalari. Samarali kodlash usullaridan foydalanish

Axborot nazariyasi nuqtai nazaridan kodlash – bu xabar manbasi va shartli belgilar yig‗indisining alfavitlarini muayyan qoidalarga muvofiq aniq qiyoslash jarayoniga aytiladi. Kod esa (kodli alfavit) - bu dastlabki xabarni kodlashda ishlatiladigan turli shartli belgilarning to‗liq yig‗indisidir.

Kod hajmi yoki kod alfavit xajmi deb kod alfavitni tashkil etuvchi turli belgili kodlar soniga aytiladi. Ko‗rinib turibdiki, kod alfavit hajmi yuboriladigan xabarning kodlangan alfavit xajmidan kichik bo‗lishi mumkin emas. Shunday qilib, kodlash – bu aloqa kanali orqali uzatiladigan xabarni boshqa ko‗rinishga o‗zgartirish yoki belgili kodlar ketma-ketligidir.
Kodlash, keltirilgan belgili kodlar turiga qarab raqamli va raqamsiz bo‗lishi mumkin: mos ravishda bir qator tizimdagi raqamlar, ba‘zi obyektlar yoki shakllar.
Ko‗p hollarda, kodli belgilar ba‘zi oddiy tashkil qiluvchilarning yig‗indisi yoki ketma-ketligini ifodalaydi, masalan, kodli belgilarning elementi deb aytiladigan sonli kodning kodli belgilardagi raqamlar ketma- ketligi. Kod so‗zidagi elementning tartib raqami yoki joylashgan joyi uning holatiga qarab belgilanadi.
Shennon - Fano kodi paydo bo‗lguncha aloqa kanallari orqali uzatilayotgan axborotlardagi belgilar uzunligi bir xil bo‗lgan bitlar yordamida kodlashtirilar edi. Shennon - Fano kodi paydo bo‗lgandan so‗ng uzatilayotgan axborotdagi har bir belgining paydo bo‗lish ehtimolligiga qarab turib, uzunligi har xil bo‗lgan bitlar yordamida kodlash imkoniyati paydo bo‗ldi. Axborotda biror bir belgining paydo bo‗lish ehtimolligi kattaroq bo‗lsa, ikkilik sanoq tizimidagi kodning uzunligi
―kichikroq bit‖ bo‗ladi. Agar axborotda biror bir belgining paydo bo‗lish ehtimolligi kichikroq bo‗lsa, ikkilik sanoq tizimidagi kodining uzunligi
―kattaroq bit‖ bo‗ladi.

Shennon Klod – amerikalik muhandis va matematik, zamonaviy ma‘lumotlar va aloqa nazariyasini otasi. 1948 yil eng kichik axborot birligini ―bit‖ so‗zi bilan belgilashni taklif qilgan. Bundan tashqari Shennon teoremasida entropiya tushunchasi o‗ziga xos xususiyatga ega edi.
R. Xartli va K. Shennon ishlarida ma‘lumotlar nisbatlar, belgilar, xabarlar, bir-birlariga signallar – sintaksis nisbatlarda berilgan.


Klod Elvud Shennon 1916 - 2001

Robert Mario Fano 1917 yil 11 noyabrda Italiyaning Turin shaxrida tug‗ilgan. Informatika sohasi bo‗yicha italiya – amerika olimi, professor. U Klod Shennondan erkin holda axborotni siqish bo‗yicha algoritmni erta boshlagan va yaratgan. Fano axborot nazariyasi sohasi bo‗yicha mashhur. 2016 yil
13 iyulda AQShning Florida shtatida vafot etgan.
Qurish texnikasi bo‗yicha Shennon va Fano kodlari bir-biriga yaqin bo‗lganligi uchun Shennon - Fano kodi deyiladi. Ushbu kod 1948 yilda paydo bo‗lgan. Ushbu algoritm yordamida axborotni kodlashtirish quyidagicha amalga oshiriladi:

• 
  axborotdagi barcha belgilarning umumiy soni N hisoblanadi;
  
• 
  N ta belgidan iborat bo‗lgan axborotdan har bir belgining paydo bo‗lish chastotasi yoki paydo bo‗lish ehtimolligi hisoblanadi;
  
• 
  har bir belgining paydo bo‗lish chastotasi kamayib borish tartibida jadvalga joylashtiriladi;
  
• 
  umumiy bo‗lgan jadvaldagi yig‗indi teng ikkiga bo‗linadi va tepa qismiga ―1‖, pastki qismiga ―0‖ qo‗yiladi;
  
• 
  teng ikkiga bo‗lish kodlashtirilayotgan axborotdagi har bir belgiga bittadan ―1‖ yoki ―0‖ qolguncha davom ettiriladi.
  

1. 
   misol: Quyidagi ko‗rinishda axborot berilgan bo‗lsin: BBCBBBCDDEDAAADDFFGGHHEE.
   

Ushbu axborotda umumiy belgilar soni 24 ta. Dastlab ushbu axborot uchun entropiya ko‗rsatkichining qiymatini hisoblaymiz: