Мустақил иш мавзу: Берилган матннинг ахборот ўлчовини топувчи дастур яратиш Гурух

ЎЗБЕКИСТОН РЕСПУБЛИКАСИ АҲБОРОТ ТЕХНОЛОГИЯЛАРИ ВА КОМУНИКЦИЛАРИНИ РИВОЖЛАНТИРИШ ВАЗИРЛИГИ

МУХАММАД АЛ ХОРАЗМИЙ НОМИДАГИ ТОШКЕНТ АХБОРОТ ТЕХНОЛОГИЯЛАРИ УНИВЕРСИТЕТИ

Аҳборот хавфсизлиги факултети

Ахборот назарияси ва кодлаш фанидан

МУСТАҚИЛ ИШ
Мавзу: Берилган матннинг ахборот ўлчовини топувчи дастур яратиш

Гурух: 702-19 магистранти

Бажарди: Келдиев Ҳ.Ё

Текширди: Ганиев C.K

Тошкент -2019

Мавзу: Берилган матннинг ахборот ўлчовини топувчи дастур яратиш

Информациянинг статистик назарияси К.Шеннон томонидан батафсил

ўрганилган.

Информациянинг статистик ўлчови. Информациянинг статистик назарияси К.Шеннон томонидан батафсил ўрганилган.

Юз бериш эхтимоллиги бирга яқин бўлган тез-тез учрайдиган ходиса хусусида хабар пайдо бўлса, бундай хабарнинг қабул қилувчи учун информативлиги кам бўлади. Ходисаларга қандайдир тажрибанинг натижаси сифатида қараш мумкинки, бундай тажрибанинг барча натижалари ансамблни, яъни ҳодисаларнинг тўлиқ гуруҳини ташкил этади. К.Шеннон тажриба жараёнида пайдо бўлувчи ходисанинг ноаниқлиги тушунчасини киритди ва уни энтропия деб атади.

Ансамбл энтропияси унинг ноаниқлигининг ва демак информативлигининг миқдорий ўлчови бўлиб, тажрибанинг ҳар бир мумкин бўлган натижалари эҳтимоллиги тўпламининг ўртача функцияси сифатида ифодаланади.

Фараз қилайлик, q турли хилли N тажриба натижалари мавжуд бўлсин. i-натижа n_i марта қайтарилади ва миқдори I_i сифатида баҳоланувчи информацияга эга. У вақтда битта тажриба натижасида хосил бўлувчи ўртача информация қуйидагича аниқланади:

Агар ҳар бир натижадаги информация миқдорининг унинг эхтимоллиги p_i билан боғлиқлигини ҳамда иккилик бирликларда (битларда)

каби ифодаланишини ҳисобга олсак, қуйидагини ёзиш мумкин.

ёки

нисбатлар – натижаларнинг қайтарилиш частоталари, демак, уларни эхтимолликлари билан алмаштириш мумкин

Унда битларда ифодаланган ўртача информация қуйидагига тенг бўлади:

ёки

Ҳосил бўлган катталик энтропия деб аталади ва Н харфи билан белгиланади.

Энтропия қуйидаги хусусиятларга эга:

1. 
   Энтропия ҳақиқий ва манфий бўлмаган катталик. Чунки, ҳар қандай i(1 ≤ i ≤ N) учун p_i 0 дан 1 гача оралиқда ўзгаради, яъни log₂ p_i манфий ва, демак, - p_i log₂ p_i мусбат.
   
2. 
   p_i лардан бири бирга тенг, қолганлари нолга тенг бўлганида энтропия нолга тенг. Бу вазият манбанинг ҳолати тўла аниқланганига мос келади.
   
3. 
   Барча эҳтимолликлар бир-бирига тенг бўлганида энтропия энг катта қийматга эга бўлади, яъни H_макс= - log₂1/q=log₂q
   
4. 
   Бир неча статистик боғланмаган информация манбаларининг бирлашма энтропияси дастлабки манбалар энтропияларининг йиғиндисига тенг.
   

Умумий холда, ахборот миқдорини тажриба натижасида энтропиянинг камайиши деб хисоблаш мумкин. Агар ноаниқлик бутунлай бартараф этилса, информация миқдори энтропияга тенг бўлади, яъни

I = Н.

Агар ноаниқлик қисман бартараф этилса, информация миқдори бошланғич ва охирги энтропияларнинг фарқига тенг, яъни I=Н₁-Н₂.

Таъкидлаш лозимки, агар барча ходисалар тенг эхтимолликка эга ва статистик боғланмаган бўлса, Хартли ва Шеннон бўйича информация миқдори бир хил бўлади.

1-расм. Дастур интерфейси

2-расм. Дастур натижаси

Ilova

#include

#include

#include

#include

using namespace std;

int main()

{

map freq;

string inputString;

getline(cin, inputString);

for (char symbol : inputString)

{

if (freq.find(symbol) == freq.end())

freq[symbol] = 1;

else

freq[symbol] += 1;

}

size_t stringLen = inputString.length();

double entropy = 0;

double prob;

for (const auto& symCount : freq)

{

cout << prob << symCount.first << endl;

entropy -= prob * log2(prob);

}

double h = entropy / stringLen;

cout << "Entropy: " << entropy << endl

<< "Entropy on a symbol: " << h << endl

<< "Length of code: " << ceilf(log2(freq.size())) << endl

<< "Redundancy: " << 1 - h / log2 (freq.size()) << endl;

}