Ta‟lim vazirligi muhammad al-xorazmiy nomidagi

Mustaqil hisoblash uchun topshiriqlar:

1. 
   topshiriq. Uzatilayotgan axborotdagi belgilarning umumiy soni N=k+p ga teng. Axborotda har bir belgining paydo bo‗lish ehtimolligi bir – biriga teng. U holda axborot hajmini aniqlang?
   
2. 
   topshiriq. Axborot A va B belgilardan iborat. A belgining paydo bo‗lish ehtimolligi P(A)=P(x₁), P(B)=P(x₂) bo‗lsa, u holda axborot hajmini aniqlang?
   
3. 
   topshiriq. Agar axborotdagi belgilarning paydo bo‗lish ehtimolligi
   

R(x₁), P(x₂), P(x₃), P(x₄), P(x₅) va P(x₆)=1-P(x₁)+P(x₂)+P(x₃)+P(x₄)+P(x₅)
bo‗lsa har bir belgiga mos keladigan axborotning o‗rtacha hajmini aniqlang?
Barcha topshiriqlarni hisoblash uchun qiymatlar 1.1-jadvalda keltirilgan.

1.1-jadval

Berilgan qiymatlar	Talabalik guvohnomasidagi oxirgi raqam
	0	1	2	3	4	5	6	7	8	9
P(x1)	0,23	0,25	0,24	0,21	0,22	0,25	0,21	0,22	0,26	0,23
P(x2)	0,11	0,12	0,11	0,17	0,12	0,18	0,13	0,19	0,11	0,16
P(x3)	0,14	0,19	0,12	0,19	0,11	0,15	0,16	0,14	0,13	0,16
k	10	12	14	16	18	20	22	24	26	28
Berilgan qiymatlar	Talabalik guvohnomasidagi oxirgi raqamdan bitta oldingisi
	0	1	2	3	4	5	6	7	8	9
P(x4)	0,12	0,18	0,13	0,12	0,11	0,16	0,15	0,16	0,14	0,16
P(x5)	0,13	0,12	0,2	0, 1	0,12	0,16	0,13	0,11	0,11	0,16
p	4	8	4	6	8	2	2	4	6	8

Diskret xabar uzatish kanali uchun – kanal bo‗ylab axborot uzatish tezligi R tavsifi kiritilgan. U bir sekundda uzatiladigan bit miqdori bilan aniqlanadi. Kanal bo‗ylab axborot uzatish maksimal imkoni bo‗lgan tezlik qiymati kanalning o‗tkazish qobiliyati deyiladi va C xarfi bilan belgilanadi.

Kommutatsiya sohasida axborotni qabul qiluvchiga kelayotgan turli ko‗rinishi ma‟lumotlar deb ta‘rif berildi.
Ma‟lumot - bu uzatish va qabul qilish uchun mo‗ljallangan axborotning bir ko‗rinishidir. Shu bilan birga axborotning bunday ko‗rinishi yordamida axborotni saqlash, qayta ishlash va shu kabi amallarni bajarish mumkin. Demak axborot tushunchasi ma‘lumot tushunchasiga qaraganda umumiyroq.
Ma‟lumotlar nazariyasi ma‘lumotlarni uzatish, qabul qilish, ishlov berish va saqlashga bog‗liq bo‗lgan miqdoriy qonuniyatlarini o‗rganadi.
Aloqa kanalida elektr signallar xabar manbadan qabul qiluvchi tomon tarqalayotib turli xil tashqi ta‘sirlar (shovqinlar)ga uchraydi. Qabul qiluvchi qurilma signal va shovqin aralashmadan uzatilayotgan xabarga maksimal mos keluvchi (eng o‗xshash) optimal diskret xabarni hosil qiladi. Buning uchun qo‗yidagi ketma-ket jarayonlar amalga oshiriladi:

• 
  filtrlash;
  
• 
  kuchaytirish;
  
• 
  demodulyatsiya;
  
• 
  diskret ketma –ketlikni dekodlash.
  

Amerikalik muhandis R. Xartli tomonidan aloqa kanallari bo‗yicha uzatiladigan ma‘lumotlarga miqdoriy o‗lchamni kiritishga urinish bo‗lgan.
R. Xartli aloqa kanallari bo‗yicha uzatiladigan «ma‘lumotlar miqdorini» ikkita teng huquqli natijalarga nisbatan va ulardan biriga «bit» nomini olgan ma‘lumotlar birligini ko‗rsatish yo‗li bilan noaniqlikni olib tashlashni qabul qildi.
R. Xartli ma‘lumotlar miqdorining logarifmik o‗lchamini aniqlash bilan ma‘lumotlar nazariyasiga asos soldi.
1928 R. Xartli ma‘lumotlar miqdorini fizik tizimning holatlari soni bilan bog‗ladi. Binobarin, u telegraf kompaniyasida muhandis bo‗lib ishlagan, elektronchi, 70 tadan ortiq patentlar- ixtirolar muallifi, telegraf matnida bo‗lgan
^{ma‘lumotlar miqdori haqida mulohaza qilgan.} Xartli Ralf
1888-1970

Ma‘lumotlar statistik nazariyasining yaratuvchisi K. Shennon, R. Xartli va uning davradoshlarining natijasini umumlashtirdi.

Xartli-Shennon miqdoriy o‗lcham uzatiladigan xabarning mazmundorlik (semantik) yoki qiymatliligi, foydaliligi (pragmatik) tomonlarini baholashga da‘vogarlik qilmaydi.
Xabarlar manbaining asosiy axborot xarakteristikalari quyidagilar hisoblanadi:

1. 
   Alohida simvollardagi ma‘lumotlar miqdori;
   
2. 
   Entropiya;
   
3. 
   Xabarning ortiqchaligi;
   
4. 
   Xabarlar manbaining unumdorligi.
   

Diskret xabarlar manbai uzatiladigan xabarlar A alifbosi, bu alifboning K hajmi yoki simvollar soni, shuningdek simvollarning berilishi P(a_i) ehtimolligi orqali xarakterlanadi.

1. 
   Bitta simvolga to‗g‗ri keladigan ma‘lumotlar miqdori quyidagi ifoda orqali aniqlanadi:
   

I (a_i )  log
1



i
² P(a )
 log ₂
P(a_i )

Ma‘lumotlarni o‗lchash birligi bit hisoblanadi.
Diskret xabarlar manbaining modelini qurish uchun alifboning hajmini va manbaning chiqishida alohida belgilarning paydo bo‗lish ehtimolligini berilishi yetarli bo‗ladi.

Shennon modeli – ergodik xabar manbai eng keng qo‗llaniladi. Bu model manba ergodik tasodifiy ketma-ketlik bo‗lishini ko‗zda tutadi.
Ergodik modelning xossalari:

• 
  belgilarning ehtimolligi ularning ketma-ketlikdagi joyiga bog‗liq bo‗lmaydi;
  
• 
  bitta uzun xabarda olingan statistik xarakteristikalar bu manba hosil qiladigan barcha xabarlar uchun to‗g‗ri bo‗ladi.
  

Agar belgilarning ehtimolligi vaqtga bog‗liq bo‗lmasa, u holda manba statsionar manba deyiladi. Agar belgilarning ehtimolligi oldingi holatlarga ham bog‗liq bo‗lmasa, u holda manba xotirasiz statsionar manba deyiladi.
Agar belgilar orasidagi korrelyatsiya o‗z o‗rniga ega bo‗lsa, u holda model sifatida Markov zanjiri ishlatiladi. Zanjirning tartibi nechta belgilar korrelyatsion bog‗langanligiga bog‗liq bo‗ladi.

2. 
   Xotirasiz manbadan beriladigan bitta simvolga to‗g‗ri keladigan o‗rtacha ma‘lumotlar miqdori quyidagi formula bo‗yicha aniqlanadi:
   

K



H ( A)  _ P(a_i ) log ₂ P(a_i )
i1

Bu ifoda diskret xabarlar manbai entropiyasi uchun Klod Shennon formulasi sifatida ma‘lum.