第三章 马尔科夫过程

第三章 马尔科夫过程

马尔科夫（Markov）过程是无后效性的随机过程。它在近代物理、生物学、管理科学、信息与计算科学等领域都有重要应用。本章主要介绍马尔科夫过程的定义、转移概率及其关系、转移概率的极限性态，并着重讨论马尔科夫链以及两种特殊的马尔科夫过程---泊松过程和维纳过程。

§3.1 马尔科夫过程及其转移概率分布

一、马尔科夫过程概念

在自然界中有一类随机过程具有所谓的无后效性：当过程在时刻

过程在时刻t t0所处状态的概率特征仅与过程t t0所处状态为已知时，

在时刻t t0所处状态有关，而与过程在时刻t t0所处状态无关。如果把

，把t0时刻之后的时刻作为“将来”，把t0时刻之前t0时刻作为“现在”

的时刻作为“过去”，那么无后效性也可解释为：过程在已知现在状态的条件下，将来的状态仅与现在的状态有关，而与过去的状态无关。

例1．一个质点在实轴上做随机移动，它在零时刻处于原点位置，每个单位时间左移或右移一个单位长度。左移的概率为p(0 p 1)，右移的概率为q(q 1 p)。该质点在第n个单位时刻到达的位置记为X(n)(n 0,1,2, )，这是一个随机序列。很显然，已知质点的现在位置，将来的情况仅与现在的位置有关，而与过去的情况无关。所以随机序

列X(n)具有无后效性。

例2．

X(t)是一个随机过程。已知现在t0时刻之前到来的呼唤次数，未来t(t t0)时刻之前到来的呼唤次数仅与t0时刻之前到来的呼唤次数有关，这是因为

时间[0,t]内到来的呼唤次数等于时间

[0,t0]内到来的呼唤次数加上时间

而(t0,t]内到来的呼唤次数与t0时刻之前到来的(t0,t]内到来的呼唤次数，

呼唤次数相互独立。因此，随机过程X(t)具有无后效性。

例3．将一颗花粉粒子放在水面上，由 于水分子的撞击，它在水面上随机地游动， 这种游动在物理学中称为布朗运动。在水面 上作直角坐标系，取花粉粒子运动的起点位 置为原点。花粉颗粒在t时刻所处位置的横坐 标和纵坐标分别记为X(t)和Y(t)。显然花粉颗 粒的随机游动具有无后效性，因而X(t)和Y(t) 都是无后效性的随机过程。

定义1：设随机过程{X(t),t T}的状态空间为E,如果对于任意的t1, ,tn,tn 1 T,且t1 tn tn 1，