3-мавзу. Нисбий энтропия ва хабарларнинг ортиқчалиги Қисқача назарий маълумот

3-мавзу. Нисбий энтропия ва хабарларнинг ортиқчалиги


Қисқача назарий маълумот

Хабарлар манбаининг энтропияси сифат аломатларининг берилган сонига эга бўлган алфавит учун максимал энтропияга тенг бўлмаслиги ушбу манба хабарларнинг катта сонли информацияни элтиши мумкинлигини англатади. Бундай манба хабарларининг символига тўғри келувчи абсолют юкланмаганлик

Алфавит структурасидаги ортиқча информация миқдорини аниқлаш учун ортиқчалик тушунчаси киритилган. Информацион ортиқчалик ўлчамсиз катталик бўлиб, алфавит символига тўғри келадиган нисбий ортиқчаликни ифодалайди.

бу ерда - зичлаш коэффициенти(нисбий энтропия).
Хабардаги символлар пайдо бўлиш эхтимолликлари тенг бўлмаган холдa, ортиқчалик

Хабар символлари орасидаги статистик боғланиш туғдирувчи ортиқчалик

Тўлиқ информацион ортиқчалик

Ортиқчалик ҳар доим ҳам номақбул хисобланмайди. Кодларнинг халалларга бардошлигини ошириш учун ортиқчалик зарур ва у сунъий равишда қўшимча символлар кўринишида киритилади.
3.1-мисол. Хабарлар a,b,c,d алфавит воситасида тузилган. Матнларда алфавит харфларининг пайдо бўлиш эхтимолликлари қуйидагича:
p_a=0,2, р_b=0,3, p_c=0,4, p_d=0,1. Ушбу алфавит асосида тузилган хабарлар ортиқчалиги аниқлансин.
Ечиш. Ортиқчалик . Тўртта харфли алфавит учун максимал энтропия

Хабар символига тўғри келадиган ўртача энтропия


Ортиқчалик



3.2-мисол. Хабарлар a,b,c,d,e,f,g,h алфавит асосида тузилган. Матн – ларда алфавит харфларининг пайдо бўлиш эхтимолликлари қуйидагича:
р_a = 0,1; p_b = 0,05; p_c = 0,04; p_d = 0,01; p_e = 0,2; p_f = 0,5; p_g = 0,07; p_h = 0,03.
Ушбу алфавит бўйича тузилган хабарлар символлари энтропияси, ортиқчалиги ва юкланмаганлиги аниқлансин.
3.3-мисол. Матнларда харфларнинг пайдо бўлиши частотасини ҳисобга олган ҳолда инглиз, немис , француз ва испан тилларининг энтропияси қуйидагича: Н_ингл = 4,03 бит/символ; Н_нем = 4,1 бит/символ; Н_фран = 3,96 бит/символ; Н_исп = 3,98 бит/символ. Ушбу тиллар учун кўринишидаги ортиқчалик аниқлансин.
3.4-мисол. Хабарлар a,b,c,d,e,f,g,h алфавит асосида тузилган. Матнларда алфавит харфларнинг пайдо бўлиш эхтимолликлари қуйидагича:
р_a = 0,03; p_b = 0,26; p_c = 0,09; p_d = 0,05; p_e = 0,16; p_f = 0,1; p_g = 0,09; p_h = 0,22.
Ушбу алфавит бўйича тузилган хабарлар символлари энтропияси, ортиқчалиги ва юкланмаганлиги аниқлансин.