Amaliyot-1 Diskret xabar manbalari va ularning tavsiflari Ishdan maqsad

Amaliyot-1
Diskret xabar manbalari va ularning tavsiflari
Ishdan maqsad: Diskret manbaning xususiyatlarini o'rganish.

1. 
   Nazariy qisimdan qisqacha ma'lumot.
   

Diskret axborot manbalari deb – jo’natilayotgan xabarlarning aniq ajralib turadigan belgilar bo’lib ular: harflar, raqamlar ketma-ketligidir chekli tartibli to'plamga (alfavit) tegishli (belgilar) bo’ladi.
Аxborot manbai doimiy ravishda (statsionar) xar birining uzunligi nτ₀ bo’lgan N ta turli diskret xabar ishlab chiqaradi. Ularning xar biri axborot manbai chiqishida tasodifiy extimollik p (a_k), (k=1,2,3,…N) bilan paydo bo’ladi. Umuman xar bir N ta diskret xabar turli extimollik bilan axborot manbai chiqishida paydo bo’lishi mumkin, ya'ni p(at), р(а2), ... p(aN). Bu ehtimolliklarning yig’indisi bo’ladi. Shuning uchun xar bir diskret xabar yetkazadigan axborot miqdori xam tasodifiy kattalik bo’ladi. Entropiya – axborot miqdorini baxolash uchun qulay tavsif bo’lib, u axborot manbai ishlab chiqarayotgan axborot o’rtacha miqdorini ta'riflaydi. Ushbu axborot o’rtacha miqdorini bitta xabar yetkazadigan axborot o’rtacha matematik miqdori orqali aniqlash qabul qilingan:
(1)
Ushbu (1) ifoda fizika fani termodinamika yo’nalishidagi «entropiya» uchun ifoda bilan bir xil ko’rinishda bo’lib, u termodinamikada tizimning ma'lum bir vaqtda no'malum xolatda bo’lishini anglatadi. H (A)ni ham xabar olinguncha bo’lgan noaniqlik miqdori deb qarash mumkin. Boshqacha qilib aytganda manba ishlab chiqarayotgan xabarning «kutilmaganlik» yoki «avvaldan bashorat qilinaolmaslik» miqdoridir. (1) ifoda manba ishlab chiqarayotgan xabarlar uzaro static bog’liq bo’lmagan holat uchun xaqiqiy xisoblanadi. Masalan, yozuv mashinkasi yoki kompyuter klaviaturasini tartibsiz bosish bunga mos keladi. Aks xolda mashinka yoki kompyuterda ma'lum bir matnni terishdagi diskret elementlar biridan so’ng keyingisi mantiqan bog’langan holda paydo bo’ladi. Birinchi holda diskret xabar elementlari bir-biriga bog’liq emas - xotirasiz; ikkinchi xolda noaniqlik kamroq yoki tug’ri bashorat qilaolish ehtimolligi ko’proq. Natijada entropiya qiymati kamayadi.
Entropiya xossalarini ko’rib chiqamiz.

1. 
   Har qanday habar manbaining entropiyasi musbat kattalik H (A) > 0 , chunki 0≤ p(a_k) ≤ 1, log p(a_k) ≤0, - p(a_k) logp(a_k) ≥0 . Agar manba faqat bitta habarni p(a_k)=1 ehtimollik bilan chiqarsa va qolganlari chiqish ehtimolligi nolga tengbo’lsa, u holda H(A) =0 bo’ladi.
   
2. 
   Agar xotirasiz xabar manbai chiqishida turli N-diskret xabarlar bir xil ehtimollik bilan paydo bo’lsa, u xolda bunday manba entropiyasi o’zining eng katta (maksimal) qiymatiga ega bo’ladi, ya'ni
   

(2)
Xususiy holda, agar xabar manbai faqat 2 ta xabar“ 1” va “0”ni chiqarsa, entropiya eng katta (maksimal) qiymati 1 bitga teng bo’ladi, ya'ni p(0)=P(1)=0,5.
Ushbu manba ikki xil diskret xabar ishlab chiqishidagi entropiyani aniqlaymiz. Bundap(0)=P, p(1)=1-P deb belgilaymiz, uholda
(3)
(3) ifodadan ko’rinadiki p(0)=0 va p(1)=1 bo’lganda yoki p(0)=1 va p(1)=0 bo’lganda, entropiya H(A)=0 bo’ladi. Agar p(0)=p(1)=0,5 bo’lsa, entropiya o’zining eng katta (maksimal) qiymatiga erishadi, ya'ni
(4)
Ushbu xabar manbai entropiyasining p(0)=1-p(1) ga bog’liqligi1 –rasmda keltirilgan.

1-rasm. Xotirasiz ikkilik xabar manbai entropiyasi.
Diskret axborot manbasining asosiy xarakteristikalari quyidagilardir:
- alifbo hajmi - m_a
– jo’natilayotgan xabarlarning turli belgilarining paydo bo'lishining apriori (eksperimentdan oldingi) ehtimoli– p (a_i ) ;
- bitta ixtiyoriy o'rtacha ma'lumot miqdori uchun manba belgisi – entropiya H (A) .

Topshiriq.

Har bir talaba o’zining F.I.SH ni to’liq yozgan holatda quyidagi parametrlarni aniqlang:
1 Matndagi harflarning umumiy soni. N
2 Elementlarning turi
3 Har bir belgini« » takrorlanish (paydo bo’lish) ehtimolligini

t/r	xarflar
1	а
2	б
	в