二、马尔科夫过程

1、转移概率

[状态与状态转移概率]  考虑一系列随机试验,其中每次试验的结果如果出现可列个两两互斥事件E1,E2,L中的一个而且仅出现一个,则称这些事件Ei(i=1,2,L)为状态。如果Ei出现,就称系统处在状态Eipij(t,τ)表示“已知在时刻t统处在状态Ei的条件下,在时刻τt>τ系统处在状态Ej的条件概率,称pij(t,τ)为转移概率。

[过程的无后效性与时齐性]  无后效性  若在已知时刻t0系统所处状态的条件下,在时刻t0以后系统将到达状态的情况与时刻t0以前系统所处的状态无关,则称过程为无后效的。

时齐性  若转移概率pij(t,τ)只与i,j,τ有关,则称过程为时齐的,简记

                  pij(τ)=pij(t,t+τ)