Ta‟lim vazirligi muhammad al-xorazmiy nomidagi

Shartsiz o„zaro ma‟lumotlar bu berilgan uchinchi tasodifiy kattalikning qiymati shartida bitta tasodifiy kattalikdan boshqasiga
nisbatan mavjud bo‗ladigan ma‘lumotlar miqdorini tavsiflaydigan uchta tasodifiy kattaliklarning statistik funksiyasi hisoblanadi:


L(X ,Y / Z)  H (X / Z)  H (X / Y, Z)

O‗zaro ma‘lumotlar yordamida X tizimni bevosita kuzatishni o‗tkazilishi bilan X tizim haqidagi ma‘lumotlar miqdorini aniqlash mumkin. Amalda ko‗pincha X tizim kuzatish uchun mumkin bo‗lmaydi va bu holda X tizim bilan bog‗langan qandaydir Y tizimni kuzatish olib boriladi. Masalan, obyektni to‗g‗ridan-to‗g‗ri kuzatish o‗rniga uning apparaturasi orqali uzatiladigan signallar tizimini kuzatish olib boriladi.

X va Y tizimlari orasida ikki turda bo‗lishi mumkin bo‗lgan farqlar mavjud:

• 
  X tizimining ayrim holatlari Y tizimida o‗z aksini topmasligi hisobiga (X tizimga qaraganda kamroq mufassal);
  
• 
  X tizimining parametrlarini o‗lchashning noaniqliklari va xabarlarni uzatishdagi xatoliklar hisobiga.
  

Agar Y tizim X tizimdan farq qilsa, savol tug‗iladi: Y tizimni kuzatish X tizim haqidagi qancha ma‘lumotlar miqdorini beradi? Bu ma‘lumotni Y tizim haqidagi ma‘lumotlarni olinishi natijasida X tizim entropiyasini kamayishi sifatida aniqlanadi:


L_{y x}  H ( X )  H ( X / Y )

bu yerda H(X) – kuzatishgacha tekshirilmagan entropiya;

H(X/Y) – ma‘lumotlar olinganidan keyin qoldiq entropiya.
L_X→Y – Y tizimda bo‗lgan X tizim haqidagi to‗liq yoki o‗rtacha ma‘lumotlar.
Umumiy holda ikkita tizimlar bo‗lganida ulardan har biri boshqa tizimga nisbatan o‗sha bir to‗liq ma‘lumotlarga ega bo‗ladi. Buni ko‗rsatamiz:

bu yerdan
H (X ,Y )  H (X )  H (X / Y )
H ( X ,Y )  H (Y )  H ( X / Y )


H ( X )  H (Y / X )  H (Y )  H ( X / Y )
H ( X )  H (Y / X )  H (Y )  H (Y / X )

^Ly x
^{ L}x y
^{ L}x y

bu yerda L_X↔Y – X va Y tizimlarda bo‗lgan to‗liq o‗zaro ma‘lumotlar deyiladi.

To‗liq bog‗liq bo‗lmaganda va tizimlarning to‗liq bog‗liq bo‗lgandagi chegaraviy hollardagi to‗liq o‗zaro ma‘lumotlarni qarashini ko‗rib chiqamiz. Agar X va Y tizimlar bog‗liq bo‗lmagan tizimlar bo‗lsa, u holda H(Y/X)=H(Y) bo‗ladi. Bu holda Y xabar ega bo‗ladigan butun ma‘lumotlar X xabar ega bo‗lgan ma‘lumotlarga nisbatan yangi hisoblanadi.
Bu tushunarli, chunki uning o‗rniga u bilan hech qanday bog‗lanmagan boshqa tizimni kuzatish bilan tizim haqida ma‘lumotlarni olish mumkin emas.
Boshqa chegaraviy hol X va Y tizimlar bir-birlarini to‗liq aniqlaydi, ya‘ni mos tushadi.

U holda:
H (x)  H (Y ),
H ( X / Y )  H (Y / X )  0

^Lx y
 L_x
 L_y
 H ( X )  H (Y ) _.