随机过程的定义

m1m2imsXm1?Xn1??Zi?n1?1, Xm2?Xn2??Zi?n2?1i,?Xms?Xns??Zi?ns?1i

它们各自是s组相互独立的随机变量的和，因此它们也相互独立．而且对任意s个互不相交的区间，都有上述的独立性。随机过程的这种性质称为独立增量性。

定义2． 设X??Xn,n?1?是一个随机过程，如果它在任意s个互不相交的区间上的增量Xm?Xn，Xm?Xn,? ，Xm?Xn都相互独立，称随机过程X为一个独立

1122ss增量过程．又如果对任意的n＞0，都有Xm?n?Xm(n＞0)对一切m同分布，则称X为一个时齐的独立增量过程．

显然，简单随机徘徊就是一个时齐的独立增量过程。 对独立增量过程，容易知道有如下的结论：

命题1．设X??Xn,n?1?是一个独立增量过程，我们增补定义X0?0，则全部随机变量Xm?Xn， (m＞n)的概率分布?P?Xm?Xn?zj?;j?1,2??就决定了随机过程X的概率分布．如果X还是时齐的，则全部随机变量Xn (n＞0)的分布就决定了随机过程X的分布．

在物理学中，很多确定性现象遵从如下演变原则：由时刻t0系统或过程所处的状态，可以决定系统或过程在时刻t?t0所处的状态，而无需借助于t0以前系统或过程所处状态的历史资料。

例如，我们考虑一在直线上作对称随机徘徊的粒子，以Xn表示粒子在时刻n时的位置，则其状态空间为Z(全体整数组成的集合)，若在n时刻粒子位于i (即Xn＝i)，那么，粒子在下一时刻n＋1，或者以0.5的概率跳到i ＋ l，或者以0.5的概率跳到i－1．在这一模型中，最有趣的现象是：粒子在n＋1时刻的位置：只依额于它在n时刻的位置，而不依赖于它在n时刻前的位置。这一性质就是所谓的Markov性(这个名字由它的首创者俄国数学家Markov而得名)。具有Markov性的随机过程称为Markov过程，它是一类广泛适用于各种领域的重要的随机过程。

定义3．一随机过程X??Xn,n?0?称为一个离散参数的Markov链，如果Xn?S，n＝l，2，3，?)，其中S为——个有限或可数集合(称为此Markov链的状态空间)，并且对任意的i,j,i0,i1,?,in?1?S,都有

P?Xn?1?j|X0?i0,X1?i1,?,Xn?1?in?1,Xn?i??P?Xn?1?j|Xn?i?

称条件概率P?Xn?1?j|Xn?i?为该Markov链的(一步)转移概率；并记为pij(n)，若

pij(n)与n无关，则称Markov链为齐次的。

例7． (随机徘徊) 对简单随机徘徊X??Xn,n?0?，其状态空间为S=Z，由Xn的定义

nXn(?)?X0(?)??Zk?1k(?)

其中

?Zk,k?0?若为独立同分布随机变量序列，满足P?Zk?1??p，

P?Zk??1??1?p?q，这里Xn表示一个粒子分别以概率p、q向右与向左走一步。前面

所讲简单对称随机徘徊就是这里p=0.5的情况。由于X0,X1,?,Xn都是Z0,Z1,?,Zn的部分和，因此，它们和Zn?1相互独立，故

P?Xn?1?j|X0?i0,X1?i1,?,Xn?1?in?1,Xn?i??P?Zn?1?Xn?j|X0?i0,X1?i1,?,Xn?1?in?1,Xn?i??P?Zn?1?j?i|X0?i0,X1?i1,?,Xn?1?in?1,Xn?i??P?Zn?1?j?i??p,???q,?0?j?i?1j?i?1其它

从而：

P?Xn?1?j|X0?i0,X1?i1,?,Xn?1?in?1,Xn?i??P?Xn?1?j|Xn?i?

故简单随机徘徊X??Xn,n?0?是一齐次Markov链且：

?p,???q,?0?j?i?1j?i?1 其它?????????? ????????pij????????P??pij????????????q000q0p0q0p000p例8．(两端反射壁的随机徘徊)，在上例中，如果在位置a与b(a

即当粒子到达a与b时，下一步以概率1分别反射到a+1与b-1，于是粒子运动仍然是一Markov链，其它统计规律和例7相同，只是

pa,a?1?1 ，pa,j?0,(j?a)； pb,b?1?1 ， pb,j?0,(j?b)

?0?q??0?P??pij????????0?0?10q?00??p0?0???0p?q0???0?0q??00?p010??0?????? ???p?0?? 例7．4(品牌选择)市场上销售A，B，C，D四种牌子的牙膏．根据市场调 查表明，可近似地认为，消费者购买哪一种品牌的牙膏，仅与他前一次购买的

品牌有关，而与这之前购买的品牌无关．记xo为某消费者最初所购买的牙膏 的品牌，Xl，x2，?分别表示他在这之后各轮所购买的牙膏的品牌，则Ix”，72 ＞0l为一MEm儿ov链，其状态空间为S＝IA，月，C，D 6，它的转移概率矩阵可 以从市场调查中获得，比如说为

在这个问题中，我们感兴趣的是这四种品牌的牙膏的市场占有率随时间的推 移而发生的变化情况，关于它，我们在以后将作具体的讨论．

例7。5 (赌博模型，两端吸收壁随机徘徊) 设某赌徒有赌本i(3．＞1)元，其对手有赔本o—i＞0元，每赌一次该赌徒均以夕的概率赢一元，以g＝1—夕的概率输一元．赌 博一直到两赌徒中有一人破产才告结束，因此，赢的赌徒最终有总赌资“元， 求该赌徒的破产概率．

解 记A为赌徒有赌本i元而最终破产的概率．求此概率的关键是给出 下面的事件关系式，其方法称为首步分析法： 、

Aj＝1有赌本i元而最终破产1 ·’

若记B＝1该赌徒第1次赌赢9，则由上述关系式及全概率公式，我们可得 这是一个差分方程，且它有边界条件 —一’ 加二尸(有赔本0元而最终破产)＝1 久＝尸(有赔本。元而最终破产)＝o 为解(1—8)，注意到它等价于 故当多＞0且夕乒十时，有

令z，＝“，则可求得

从而得到：当夕＞o且多，E专(即户，6g)时

当户＝g＝音时，由(1—9)式，我们有第l章中所讲的赌徒破产问

题也可归结为一M比奴)v链问题来研究．假如一赌徒在每局赌博中，赢1元概 率为夕，而输l元的概率为g＝1—入一旦该赌徒输光或他的赌金变为N元 时，他就退出赌博．设X”为该赌徒在n时刻时的赌金，那么，容易验证1xg，n ＞01是一齐次Markov链，它的状态空间为5＝10，l，2，?，N—l，N1，其转 移概率为

状态0和N有特殊的含义，一旦进入这两个状态后，再也不能从这些状态中出