Asosiy qism: I bob statsionar tasodifiy jarayonlar

boshlang’ich taqsimot deyiladi.
Holatlar to’plami bo’lgan vaqtga nisbatan bir jinsli Markov zanjiri uchun (7) formula
(9)
ko’rinishni oladi. Holatlar to’plami bo’lgan vaqt bo’yicha bir jinsli Markov zanjiri trayektoriyalarinig taqsimotlari ta parametrlar

va o’tish ehtimollari bilan aniqlanadi. ni sistema bir qadamda holatdan holatga o’tish ehtimoli deb talqin qilish mumkin.
O’tish ehtimollari matritsani hosil qiladi.

O’tish matritsasining barcha elementlari nomanfiy, har bir satrdagi elementlar yig’indisi birga teng. Bunday matritsalar stoxastik matritsalar deyiladi. Barcha satrlarning elementlari yig’indisi birdan oshmaydigan va elementlari nomanfiy bo’lgan matritsa esa yarim stoxastik matritsa deyiladi. Har bir ustun elementlarining yig’indisi ham bir bo’lgan stoxastik matrits ikki marta stoxastik matritsa deb ataladi.

Vaqt bo’yicha bir jinsli bo’lmagan Markov zanjirlarida o’tish matritsalari ga bog’liq bo’ladi.
Sanoqli Markov zanjirlarining o’tish ehtimollari guruhini o’lchovlari cheksiz bo’lgan matritsa shaklida ifodalash mumkin.
Endi Markov zanjirlarini tashkil qiluvchi tasodifiy miqdorlar ketma-ketligi uchun bir necha misollar keltiraylik.
4-misol. Butun qiymatlarni qabul qiluvchi bog’liqsiz va bir xil taqsimlangan tasodifiy miqdorlar ketma-ketligi bir jinsli Markov zanjirini hosil qiladi. Bu holda

ya’ni matritsaning har bir satri boshlang’ich taqsimotdan iborat.
5-misol. bog’liqsiz bir xil taqsimlangan tasodifiy miqdorlar, va bo’lib, ketma-ketlik

formula orqali ifodalangan bo’lsin. ketma-ketlik 0 nuqtada qaytaruvchi ekranli manfiy bo’lmagan butun sonlar to’plamida tasodifiy daydish deb ataladi.
ketma-ketlik Markov zanjiri hosil qilishini ko’rish qiyin emas. Bu holda tengliklar o’rinli bo’lgani sababli bu Markov zanjiri

o’tish matritsasiga ega.
6-misol. bog’liqsiz bir xil taqsimlangan nomanfiy butun qiymatlar qabul qiluvchi tasodifiy miqdorlar ketma-ketligi bo’lib, bo’lsin. U holda deb qabul qilsak, ketma-ketlik bir jinsli sanoqli Markov zanjirini tashkil qiladi. Bu holda o’tish ehtimollari

ko’rinishga ega. Bu misolda o’tish matritsasi

bo’lib uning har bir satri oldingi satrning elementlarini bir raqamga o’ng tomonga surishdan hosil bo’ladi.
7-misol. (Diffuziya uchun Frenfestlar modeli). Fiziklar Paul va Tatyana Frenfest nomi bilan ataluvchi bu model zarrachalarni (bir-biri bilan tutashtirilgan) ikkita idishda ko’chish jarayonini tavsiflaydi va u molkulalarning harakati jarayonida klassik mexanika nuqtayi nazaridan qaytariluvchan deb hisoblangan, qaytarilmaydigan o’zgarishlarning (tutashtirilgan idishlarda bosimlarning tenglashishi natijasida) vujudga kelish oqibatlarini tushuntirib berish uchun taqdim etilgan.
Ikkita idishda ta zarracha bor bo’lsin. Vaqtning har bir momentida tasodifan va undan oldingilariga bog’liqsiz, ta zarrachalardan bittasi teng imkoniyatli ravishda tanlanadi va u ehtimol bilan o’z idishida qoladi, yoki bo’lmasa ehtimol bilan boshqa idishga o’tkaziladi. esa vaqtning momentida birinchi idishdagi zarrachalar soni bo’lsin. U holda bir jinsli Markov zanjirini tashkil qiladi va

tengliklar o’rinli bo’lgani sababli, o’tish matritsasi quyidagi ko’rinishga ega:

Endi qadamda sistemaning holatlari o’zgarishini o’rganamiz. Shu maqsadda qadamda sistema holatdan holatga o’tish ehtimollarini ko’ramiz.
holatlar to’plami va o’tish ehtimollari matritsasi bo’lgan Markov zanjiri bo’lsin. qadamda o’tish ehtimollari matritsasini va vektorlarni kiritamiz bu yerda
2-teorema. O’tish ehtimollari matritsasi bo’lgan bir jinsli Markov zanjirlari uchun ixtiyoriy bo’lganda
(10)
o’tish ehtimollari matritsasi bo’lgan bir jinsli bo’lmagan Markov zanjirlari uchun esa
(11)
tengliklar o’rinli.
Isboti. To’la ehtimol formulasiga ko’ra, istalgan va ixtiyoriy uchun

tenglik o’rinli bu yerda matritsaning satrdagi elementini bildiradi. Shunday qilib, . Bundan, induksiyaga ko’ra, (10) formula kelib chiqadi, (11) formula ham shu kabi isbotlanadi.
Ixtiyoriy tartibli va stoxastik matritsalarning ko’paytmasi yana stoxastik matritsa bo’ladi. Haqiqatan ham, ko’paytmaning elementi nomanfiy ekanligi o’z-o’zidan ravshan. Shu bilan birga

ya’ni, matritsa ham stoxastik matritsa ekan.

Shunday qilib, 2-teoremadagi va matritsalar ham stoxastik.