二、马尔科夫过程

1、转移概率

[状态与状态转移概率]  考虑一系列随机试验，其中每次试验的结果如果出现可列个两两互斥事件E₁,E₂,L中的一个而且仅出现一个，则称这些事件E_i(i=1,2,L)为状态。如果E_i出现，就称系统处在状态E_i。用p_ij(t,τ)表示“已知在时刻t系统处在状态E_i的条件下，在时刻τ（t>τ）系统处在状态E_j”的条件概率，称p_ij(t,τ)为转移概率。

[过程的无后效性与时齐性]  无后效性  若在已知时刻t₀系统所处状态的条件下，在时刻t₀以后系统将到达状态的情况与时刻t₀以前系统所处的状态无关，则称过程为无后效的。

时齐性  若转移概率p_ij(t,τ)只与i,j,τ有关，则称过程为时齐的，简记

                  p_ij(τ)=p_ij(t,t+τ)