M. A. Kamenskaya

1.2. AXBOROT NAZARIYASI
1948 yilda "Bell Telephone Laboratories" Amerika kompaniyasi xodimiKlod Elvud Shannon (u o'sha paytda 28 yoshda edi)"Bell System Technical Journal" Technical Journaljurnalida "bog'lanishning matematik nazariyasi"fundamental ishini nashr etdi. Uning paydo bo'lishi odatda klassik (statistik) axborot nazariyasining paydo bo'lishi bilan bog'liq. Aynan shu vaqtga kelib, texnik aloqa tizimlarining rivojlanishi aloqa kanallari orqali ma'lumot uzatishning maqbul usullarini ishlab chiqishni talab qildi. Tegishli muammolarni hal qilish (xabarlarni kodlash va dekodlash, shovqinlarga chidamli kodlarni tanlash va boshqalar), birinchi navbatda, ushbu signallar to'plamidan foydalangan holda vaqt birligiga uzatilishi mumkin bo'lgan ma'lumotlar miqdori haqidagi savolga javob berishni talab qildi. Savol " ma'lumot nima?"faqat paydo bo'lmadi.

1.2.1. Bog'lanishning matematik nazariyasi

klassik axborot nazariyasining asosi sifatida
Axborot nazariyasi mohiyatan matematik intizomdir. Biroq, uning asosiy qoidalarini murakkab matematik apparatga murojaat qilmasdan bayon qilish mumkin. Shannon nazariyasiga asoslanib [60] ma'lumotni xabarni olgandan keyin yo'q qilinadigan noaniqlik miqdorining o'lchovi sifatida aniqlash mumkin. Optimal uzatish tezligini (aloqa kanalining o'tkazish qobiliyatini) ifodalash uchun K. Shannon ma'lumot miqdori deb nomlangan miqdorni kiritdi. Shu bilan birga, Shannon ma'lumot tushunchasining ta'rifini bermadi va uning mohiyatini ko'rib chiqmadi.
Ma'lumot miqdorini hisoblash uchun (y)­N belgidan iborat matnli muloqotda K. Shannon quyidagi formulani kiritdi:
(1)
bu erda N- berilgan tildagi harflar soni; p,-i harfning paydo bo'lish chastotasi(i\ u003d 1, 2, ..., p) ushbu tilda; formulaning o'ng tomoniga "minus" belgisi qo'yiladi, shunda log₂ a < 0 (p,< 1) bo'lishiga qaramay, ma'lumot miqdori har doim ijobiy bo'ladi.
Klassik axborot nazariyasi ma'lumot miqdorini tavsiflash va shuning uchun ehtimollik, aniqrog'i ehtimollik o'zgarishi bilan o'lchash mumkin degan fikrga asoslanadi. Hodisa qanchalik g'ayrioddiy bo'lsa, ya'ni.uning p ehtimoli qanchalik kam pbo'lsa, u kelganda noaniqlik shunchalik kamayadi­. Agar xabar qabul qiluvchi uchun voqea ehtimolini o'zgartirmasa (ehtimollik p = 1), unda ma'lumot miqdori nolga teng.
Olingan ma'lumotlar xabarni olishdan oldin va keyin qabul qiluvchining xabardorligi o'rtasidagi farq sifatida aniqlanishi mumkin. Faqatgina qabul qiluvchining sodir bo'lgan voqealar to'g'risida bilmaslik darajasini pasaytiradigan xabar informatsiondir. Olingan ma'lumotlar nisbati bilan aniqroq ifodalanadi
(2)
bu erda I - olingan ma'lumotlar; r_a-xabar kelganidan keyin qabul qiluvchi uchun voqea ehtimoli; r_b — xabar kelishidan oldin qabul qiluvchi uchun voqea ehtimoli. Aytaylik, bir kishi tanga tashlaydi va natijani boshqa odamga aytadi. DS tanga tushganida,­voqea haqidagi ikkita mumkin bo'lgan xabarlarning har biri ("burgut" yoki "quyruq") ehtimoli 0,5 ga teng edi. Tanga tushgandan so'ng, aslida tushgan natija haqida xabar berish ehtimoli­1 ga teng bo'ldi.
Shunday qilib, I-log '/_{) / 2} = log 2 = 1 bit.
Ikkala holatdan qaysi biri­ehtimoliy bir-birini istisno qiladigan holatlarga teng bo'lganligi haqidagi xabardagi ma'lumotlar miqdori haqiqatan ham sodir bo'lgan (ya'ni, vaziyatning mumkin bo'lgan natijalari sonini ikki baravar kamaytiradigan xabarda) minimal va 1 ga teng. Эта единица измере­Ma'lumot miqdorini o'lchashning ushbu birligi deyiladi bit (binary digit).
Aloqa nazariyasining muhim muammolaridan biri tasodifiy shovqin mavjud bo'lganda aloqa kanali orqali ma'lumot uzatishning maksimal tezligiga taalluqlidir (texnik tizimlarda bu elektr tarmog'idan shovqin, kabel izolyatsiyasining shikastlanishi tufayli signallarning zaiflashishi, manbani olib tashlash tufayli signallarning buzilishi va boshqalar bo'lishi mumkin). Ushbu muammo biologik tizimlarda, xususan, nevrologiyada ma'lumot uzatish uchun juda muhimdir. Har qanday aloqa tizimida qabul qiluvchi ma'lumotni chiqaradigan xabar signal va shovqindan iborat. B В — aloqa kanalining tarmoqli kengligi bo'lsin (bu qiymat tizim orqali o'tishi mumkin bo'lgan chastotalar oralig'ini aniqlaydi); s — qabul qilgichdagi samarali signal kuchi; N— qabul qilgichdagi samarali shovqin kuchi. (R) Kanal orqali ma'lumot uzatishning maksimal tezligi (R) signal kuchi bilan belgilanadi s va shovqin kuchi N:
R = В logda (1 + S/N). (3)
Boshqacha qilib aytganda, vaqt ichida uzatilishi mumkin bo'lgan maksimal ma'lumot T, равна RT, yoki I= Vt log (1 + S/N).
Shovqin tufayli yuzaga keladigan xatoni kamaytirish uchun siz har bir xabar harfining kod signalini ikki marta takrorlashingiz mumkin, ammo keyin bir xil signal tezligida ma'lumot uzatish­tezligi ikki baravar kamayadi.
Uning ishonchliligi va xavfsizligini oshirish uchun tizimga qo'shimcha ravishda kiritilgan ma'lumotlar ortiqcha deb ataladi. Ortiqcha ma'lumot uzatishning haqiqiy tezligining uni uzatishning mumkin bo'lgan maksimal tezligiga nisbati bilan 1 o'rtasidagi teng farq sifatida qabul qilinadi; ortiqcha foiz sifatida ifodalanadi. Buni uzatish tejamkorligining o'lchovi sifatida ko'rish mumkin. K. Shannon shuni ko'rsatdiki, ortiqchalikdan foydalanib, siz asosan kanal orqali shovqin bilan istalgan boshqa­narsalarni ishonchli tarzda uzatishingiz mumkin. Ushbu kanal orqali uzatishning mumkin bo'lgan maksimal tezligi uning o'tkazuvchanligi deb ataladi.
Shannon kontseptsiyasi nafaqat buyurtma qilingan harflar yoki raqamlar to'plamiga, balki har xil turdagi signallar yoki belgilarning cheklangan soniga ega bo'lgan har qanday aloqa tizimiga, umuman olganda, cheklangan hodisalar to'plamiga ega bo'lgan har qanday vaziyatga taalluqlidir, ularning har biriga ehtimollik berilishi mumkin.
Shuni ta'kidlash kerakki, klassik axborot nazariyasi faqat individual belgilar va signallar kabi "hodisalar" ning nisbiy ehtimolliklari bilan shug'ullanadi, ammo xabarda etkazilgan ma'lumotlarning mazmuni (semantikasi) haqida hech narsa aytmaydi. She'r matni va bir xil harflarning bema'ni tarqoq to'plami bir xil miqdordagi ma'lumotni o'z ichiga oladi, chunki har ikkala holatda ham har bir harfning paydo bo'lish ehtimoli bir xil va ikkala "xabar" ham bir xil uzunlikda. Aloqa kanallari orqali uzatiladigan individual belgilar o'z-o'zidan ma'lumot olib yurmaydi; u faqat signallar yoki harflarning kombinatsiyasini o'z ichiga oladi va umuman emas [29].
Klassik axborot nazariyasi­xabardagi shakllanishning ahamiyatini hisobga olmaydi. Masalan, siz tanga­tashlaganingizda "burgut" yiqilib tushganingiz yoki "dumlar" tushib ketganingiz haqidagi xabardagi ma'lumotlar miqdori,­otish natijasiga pul tikish yoki qilmaslik (va ishtirokchilar uchun qanchalik muhim) bog'liq emas. Shunday qilib, axborot nazariyasida axborotning sub'ektiv ma'nosi (semantikaning predmeti bo'lgan xabarning ma'nosi emas) emas, balki axborotning ob'ektiv o'lchovi ko'rib chiqiladi. Biroq, ma'lumotlarning statistik nazariyasi hali ham semantika bilan bog'liq, chunki u aloqa kanali orqali yuborilgan ma'lumotlarga nisbatan olingan ma'lumotlarning to'g'riligiga qanday ishonch bilan ishonish mumkinligini aytadi.
Shunday qilib, Shannon tushunchasi (bog'lanishning matematik nazariyasi) klassik (statistik) axborot nazariyasining keyingi rivojlanishiga sezilarli ta'sir ko'rsatgan quyidagi xususiyatlarga ega [29]. (1) "ma'lumot"tushunchasining ta'rifi yo'q. Axborotning har qanday tabiiy va ijtimoiy hodisada ishtirok etishi e'lon qilinadi. (2) "ma'lumot miqdori" atamasi xabarni tashkil etuvchi belgilarning statistik (chastota) tavsifini, ya'ni belgilar va signallar kabi hodisalarning nisbiy ehtimolliklarini anglatadi. Har qanday ob'ekt yoki hodisa bilan bog'liq bo'lgan ma'lumot miqdorining o'lchovi uning paydo bo'lishining noyobligi yoki tuzilishining murakkabligi bo'lishi mumkin. (3) nazariya xabarda etkazilgan ma'lumotlarning mazmuni (ma'nosi — semantikasi) bilan bog'liq emas. (4) xabarlar manbasiga nisbatan "entropiya"atamasi qo'llaniladi.