Ma’ruza-1 Asosiy tushunchalar. Diskret axborot uzatish tizimi strukturasi Reja

y – x => min.
Lekin amaliyotda uzatilgan axborotni qabul kilingan axborotga to‘liq mos kelishiga erishish juda murakkab vazifadir va xar doim xam erishish imkoniyati bo‘lmaydi.
1.2-rasmda axborot bir tomonga - axborot manbasidan uni qabul qilish manziliga uzatilayotgani ko‘rsatilgan. Bu jarayonni ikki tomonlama qilish uchun uzatish va qabul qilish manzillarida mos ravishda uzatgich va qabul qilgich qurilmalari o‘rnatilishi kerak. Aloqa kanali esa ikkita alohida turli tomonga yo‘naltirilgan (simpleks), bitta ikki tomonga yo‘naltirilgan kanaldan, lekin kanaldan axborot navbatma-navbat ikki tomonga uzatiladi (yarim dupleks) yoki bitta ikki tomonga yo‘naltirilgan va kanaldan axborot ikki tomonga bir vaqitda uzatiladigan (dupleks) bo‘lishi mumkin.

1.2. Axborot tavsiflari

Xabarning asosiy axborot tavsiflariga aloxida xabar tarkibidagi axborot miqdori, entropiya hamda xabar manbasi unumdorligi kiradi.

Xabar tarkibidagi axborot miqdori axborot o‘lchov birligi – bitda aniqlanadi. U yoki bu xabar paydo bo‘lish extimolligi qanchalik kam bo‘lsa, udan olinadigan (axborot tashishishi) axborot shunchalik ko‘p bo‘ladi. Agar manba xotirasida bir-biridan xoli (a₁ va a₂) xabarlar bo‘lib, ulardan birinchisi p(a₁) = 1 extimollik bilan berilayotgan bo‘lsa, u xolda a₁ xabar axborot tashimaydi, negaki, u oldindan qabul qiluvchiga ma’lum.
Bitta xabarga (a_i ga) to‘g‘ri keladigan axborot miqdori quyidagi ifoda orqali aniqlanishi taklif qilingan [3]:
I(a_i) = log₂[1/p(a_i)] = - log₂p(a_i) .
Xotirasiz manbadan kelib tushayotgan bitta xabarga to‘g‘ri keladigan axborotning o‘rtacha miqdori H(A)ni butun alfavit bo‘yicha o‘rtacha qiymatini olish operatsiyasini (amalini) qo‘llab aniqlash mumkin:

H(A) = - p(a_i)log₂p(a_i) (1.1)
(1.1)-ifoda diskret xabar manbasi entropiyasi uchun K. SHennon formulasi deyiladi.
Axborotdagi belgillarning poydo bo‘lishi extimolligi bilan axborot xajmi o‘rtasidagi bog‘liq K. SHennon teoremasida o‘z ifodasini topgan.
K. Shennon teoremasi: Shunday kodlash usuli mavjudki uning yordamida axborot manbasi ishlab chiqargan barcha ma’lumotlarni aloqa kanali orqali uzatish mumkin. Agar aloqa kanali o’tkazuvchanlik qobilyati manba samaradorligining har qanday qiymatida xam yuqori bo’lsa shunday kodlash usuli mavjudki, uning yordamida barcha ma’lumotlarni aloqa kanali uzatish mumkin.
Agar manba samaradorligi H’(A) aloqa kanali o’tkazuvchanligidan yuqori bo’lsa, axborotlarni cheksiz eslab qolish qurilmasiz ularni kodlash orqali uzatish mumkin emas.
Axborotdagi har bir belgiga mos keluvchi axborotni o‘rtacha hajmi (soniga) entropiya deb yuritiladi. Entropiya - bu diskret xabarlar manba xolatining noaniqlik o‘lchovidir. Agar manba tomonida birga teng extimollik bilan faqat bitta xabar berilayotgan bo‘lsa, u xolda entropiya nolga tengdir. Agar manba simvoli mustaqil xamda bir xil extimollik bilan paydo bo‘lsa, entropiya maksimal bo‘ladi.
Xabar manba entropiyasini aniqlaymiz. Agar k =2 va p(a₁)=p(a₂)=0,5 bo‘lsa, u xolda