Boshqariluvchi markov zanjirlari turlari

BOSHQARILUVCHI MARKOV ZANJIRLARI TURLARI
Reja:

1. 
   Markov zanjiri haqida
   
2. 
   Markov zanjiri va dinamik dasturlash.
   
3. 
   Markov zanjiri ketma ketligi
   

Endi bog`langan tajribalarning eng sodda holi Markov zanjirlarini qarab chiqamiz.

U birinchi marta rus matematigi A.A.Markav tomonidan o`rganilgan.
Faraz qilamiz tajribalar ketma-ketligi o`tkazilayotgan bo`lsin. Har bir tajribada hodisalardan faqat va faqat bittasi ro`y berishi mumkin bo`lsin.
Bu yerda -tajribaning tartib raqami.
Ta`rif. Agar -tajribada bizg ma`lum hodisa ro`y berganlik shartida -tartibda hodisaning ro`y berish shartli ehtimolligi -tajribada qanday hodisa ro`y berganligigagina bog`liq bo`lib, -dan oldingi tajribalar natijasi haqidagi ma`lumotlar ta`sirida o`zgarmasa, bunday tajribalar ketma-ketligi Markov zanjiri deyiladi.
1-misol. Zarrachaning to`g`ri chiziq bo`yicha harakatini qaraymiz.


Zarracha koordinatalari nuqtalar bo`yicha tasodifiy turtki natijasida harakatlanadi.
Zarracha ehtimol bilan bir qadam o`ngga, ehtimol bilan bir qadam chapga harakatlanadi, agar zarracha va nuqtalarda bo`lmasa. Agar zarracha yoki da bo`lsa, bir ehtimol bilan yoki ga o`tadi. Zarrachaning bunday qonun bo`yicha harakati Markov zanjiriga misol bo`la oladi.
2-misol (Bor modeli). Vodorot atomida elektronlar ma`lum bir orbita bo`yicha aylanadi. Elektronning -orbita bo`yicha aylanishini bilan belgilasak, electron o`z orbitasini momentlarda o`zgartiradi.
Biz elektronning momentda orbitadan, -orbitaga o`tish ehtimoli faqat va larga bog`liq va elektronning oldin qanday orbitada bo`lganligiga bog`liq emas deb faraz qilamiz. Elektronlarning bunday harakati ham Markov zanjiriga misol bo`ladi.
Biz bundan keyin saddalik uchun -tajribada hodisa ro`y berishi shartli ehtimolligi tajriba tartib raqamiga bog`liq emas deb faraz qilamiz va bu ehtimollikni o`tish ehtimoli deb ataymiz va uni kabi belgilaymiz. Bunday Markov zanjiriga bir jinsli Markov zanjiri deyiladi. Bir jinsli Markov zanjiri uchun bir holatdan ikkinchisiga o`tishning to`la ehtimolligi tasnifi quyidagicha matritsa yordamida beriladi.
.
Bu matritsaga o`tish matritsasi deyiladi.
Daydi zarrachaning harakat qonuni bir jinsli Markov zanjiriga misol bo`ladi.
Uning o`tish matritsasini tuzamiz.

O`tish ehtimollari matritsasi elementlari quyidagi shartlarni qanoatlantirishi kerak.
1˚. uning elementlar ehtimolliklar bo`lgani uchun bo`lishi kerak.
2˚. -tajribada holatda bo`lgan sistema -tajribada holatlarning biriga o`tish kerak, ya`ni
( ).
3˚. Biror ustuning hamma elementlari nol bo`laolmaydi, chunki masalan -ustunning hamma elementlari nol bo`lsa, bu holatga hech qachon o`tib bo`lmasligi, ya`ni holatlar soni dan kamligini bildiradi.
bilan sistema -tajribada holatda bo`lib, -tajribada holatga o`tish ehtimolini belgilaymiz. Holatlar soni chekli ga teng deb olamiz. U holda qadamda o`tish matritsasi

ko`rinishida bo`ladi. Quyidagi teorema o`rinli bo`ladi.
Teorema (Markov teoremasi). Agar bo`lsa, u holda o`tish matritsasi uchun quyidagi o`rinli bo`ladi:
(1)
Bu tenglamaga ba`zan Markov tenglamasi ham deyiladi.