通俗理解马尔科夫链

时间:2021-10-04 20:44:18

    在理解马尔科夫链之前先了解一下马尔科夫性质,我们假设某一过程是由一个状态序列构成,就相当于视频由每一帧构成。这个状态序列被称为状态空间,假设某一时刻的状态是其前一时刻状态的函数,则说明该序列有马尔科夫性质,通俗的说,该时刻的状态只与其前一时刻的状态有关,则序列有马尔科夫性质。所以我们在预测下一状态时,只与当前状态有关,与当前状态之前的状态都无关。


由此引出一个概念:马尔科夫过程。我们仅仅用语言描述:由概率论知识得,第n个状态的条件概率等于之前n-1个状态都成立时第n个状态出现的概率,由于马尔科夫性质,则简化成第n个状态的条件概率就等于第n-1个状态条件下状态n出现的概率,满足这个过程也就称之为马尔科夫过程。


从第n个状态到第n+1个状态时,有一个转换矩阵A,即有P(n+1)=P(n)*A,由此推到得P(n+1)=P(1)A^n(n次幂),当P(n+1)和P(n)的差值在一个很小的范围内,我们则称马尔科夫链达到平稳状态,其中转换矩阵A实际上就是状态n中的各个部分转换成状态n+1时各部分的转换概率,这个值可以自己设定,但是我们知道概率之和必须等于1,即A中的元素之和必须等于1。