R. Xartli ma‘lumotlar miqdorining logarifmik o'lchamini aniqlash bilan ma‘lumotlar nazariyasiga asos soldi.
1928 R. Xartli ma‘lumotlar miqdorini fizik tizimning holatlari soni bilan bog’ladi. Binobarin, u telegraf kompaniyasida muhandis bo’lib ishlagan, elektronchi, 70 tadan ortiq patentlar ixtirolar muallifi, telegraf matnida bo’lgan ma‘lumotlar miqdori haqida mulohaza qilgan.
1. Bitta simvolga to’g’ri keladigan ma‘lumotlar miqdori quyidagi ifoda orqali aniqlanadi:
Shennon modeli – ergodik xabar manbai eng keng qo’llaniladi. Bu model manba ergodik tasodifiy ketma-ketlik bo’lishini ko’zda tutadi.
Agar belgilarning ehtimolligi vaqtga bog'liq bo'lmasa, u holda manba statsionar manba deyiladi.
Agar belgilarning ehtimolligi oldingi holatlarga ham bog'liq bo'lmasa, u holda manba xotirasiz statsionar manba deyiladi.
Agar belgilar orasidagi korrelyatsiya o'z o'rniga ega bo'lsa, u holda model sifatida Markov zanjiri ishlatiladi.
Zanjirning tartibi nechta belgilar korrelyatsion bog'langanligiga bog'liq bo'ladi.
2. Xotirasiz manbadan beriladigan bitta simvolga to’g’ri keladigan o’rtacha ma‘lumotlar miqdori quyidagi formula bo’yicha aniqlanadi:
Bu ifoda diskret xabarlar manbai entropiyasi uchun Klod Shennon formulasi sifatida ma‘lum.
Do'stlaringiz bilan baham: |
