Mustaqil ishlari

3.Markov qaror qabul qilish jarayoni
Markovning qaror qabul qilish jarayoni bu Markov zanjiri bo'lib, unda davlat o'tishlari joriy holatga va tizimga tatbiq etiladigan harakat vektoriga bog'liq. Odatda, Markovning qaror qabul qilish jarayoni kutilayotgan mukofotlarga nisbatan biron bir foydali dasturni maksimal darajada oshiradigan harakatlar siyosatini hisoblash uchun ishlatiladi. U mustahkamlashni o'rganish bilan chambarchas bog'liq bo'lib, qiymatni takrorlash va tegishli usullar bilan hal qilinishi mumkin.
4. Markovning qaror qabul qilish jarayoni qisman kuzatilmoqda
Qisman kuzatiladigan Markovning qaror qabul qilish jarayoni (POMDP) ​​- bu tizimning holati faqat qisman kuzatiladigan Markovning qaror qabul qilish jarayoni. POMDP-lar NP-ning to'liq ekanligi ma'lum, ammo so'nggi yaqinlashuv texnikasi ularni turli xil dasturlarda, masalan, oddiy agentlarni yoki robotlarni boshqarish uchun foydali qildi.
5. Markov tasodifiy maydoni
Markov tasodifiy maydoni yoki Markov tarmog'i Markov zanjirining ko'p o'lchovli umumlashtirilishi deb hisoblanishi mumkin. Markov zanjirida holat faqat avvalgi holatga bog'liq bo'ladi, Markov tasodifiy maydonida har bir holat bir nechta yo'nalishdagi istalgan qo'shnilariga bog'liq. Markov tasodifiy maydoni tasodifiy o'zgaruvchilar maydoni yoki grafigi sifatida tasavvur qilinishi mumkin, bu erda har bir tasodifiy o'zgaruvchining taqsimlanishi u bog'langan qo'shni o'zgaruvchilarga bog'liq. Aniqrog'i, grafadagi har qanday tasodifiy o'zgaruvchining qo'shma taqsimoti grafadagi ushbu tasodifiy o'zgaruvchini o'z ichiga olgan barcha kliklarning "klik potensiallari" ning mahsuloti sifatida hisoblanishi mumkin. Muammoni Markov tasodifiy maydoni sifatida modellashtirish foydalidir, chunki u grafadagi har bir tepalikdagi qo'shma taqsimotlarni shu tarzda hisoblashi mumkin.
6. Markovning ierarxik modellari
Ierarxik Markov modellari abstraktsiyaning turli darajalarida odamlarning xatti-harakatlarini turkumlash uchun qo'llanilishi mumkin. Masalan, odamning xonada joylashgan joyi kabi bir qator oddiy kuzatuvlar talqin qilinishi mumkin, masalan, odam qaysi vazifa yoki faoliyatni bajarayotgani kabi murakkabroq ma'lumotlarni aniqlash uchun. Markov modellarining ikki turi - Ierarxik yashirin Markov modeli va Abstrakt Yashirin Markov modeli. Ikkalasi ham xulq-atvorni aniqlash uchun ishlatilgan. va modeldagi abstraktsiyaning turli darajalari orasidagi ma'lum shartli mustaqillik xususiyatlari tezroq o'rganish va xulosa chiqarish imkoniyatini beradi.