随机过程知识点

随机过程复习

(2) X(t)是独立增量过程；

(3) 在任一长度为t的区间中，事件A发生的次数服从参数?t＞0的泊松分布，即对任意s,t＞0，有

P{X(s?t)?X(s)?n}?e??t(?t)n,(n?0,1,2,?)n!(3.1)

E[X(t)]表t 注意，从条件(3)知泊松过程是平稳增量过程且E[X(t)]??t。由于，??示单位时间内事件A发生的平均个数，故称?为此过程的速率或强度。 定义3.3 称计数过程{X(t),t?0}为具有参数?＞0的泊松过程，若它满足下列条件 (1) X(0)= 0；

(2) X(t)是独立、平稳增量过程；

(3) X(t) 满足下列两式：

P{X(t?h)?X(t)?1}??h?o(h), (3.2)

P{X(t?h)?X(t)?2}?o(h) 定理3.1 定义3.2与定义3.3是等价的。

3.2 泊松过程的基本性质

一、数字特征

设{X(t),t?0}是泊松过程，

mX(t)?E(X(t))??t2?X(t)?D(X(t))??tRX(s,t)?E(X(s)X(t))??s(?t?1)BX(s,t)?RX(s,t)?mx(s)mX(t)??s一般泊松过程的有BX(s,t)??min(s,t)。

有特征函数定义，可得泊松过程的特征函数为

gX(u)?E[eiuX(t)]?exp{?t(eiu?1)}

二、时间间隔与等待时间的分布

Wn为第n次事件A出现的时刻或第n次事件A的等待时间，Tn是第n个时间间隔，

它们都是随机变量。

定理3.2 设{X(t),t?0}是具有参数?的泊松分布，Tn(n?1)是对应的时间间隔序列，则随机变量Tn(n?1,2,?)是独立同分布的均值为1/?的指数分布。

定理3.3 设{Wn,n?1}是与泊松过程{X(t),t?0}对应的一个等待时间序列，则Wn服从参数为n与?的?分布，其概率密度为

???t(?t)n?1??e(n?1)!,t?0 fWn(t)??

?0,t?0?三、到达时间的条件分布

定理3.4 设{X(t),t?0}是泊松过程，已知在[0,t]内事件A发生n次，则这n次到达时间W1?W2???Wn与相应于n个[0,t]上均匀分布的独立随机变量的顺序统计量有相同

的分布。

§3.3 非齐次泊松过程

定义3.4 称计数过程{X(t),t?0}为具有跳跃强度函数?(t)的非齐次泊松过程，若它满足下列条件：

(1) X(0)?0；(2) X(t)是独立增量过程；

5

随机过程复习

(3)

P{X(t?h)?X(t)?1}??(t)h?o(h)

P{X(t?h)?X(t)?2}?o(h)非齐次泊松过程的均值函数为：

mX(t)???(s)ds

0t定理3.5 设{X(t),t?0}是具有均值函数mX(t)?有

??(s)ds的非齐次泊松过程，则

0tP{X(t?s)?X(t)?n}?或

[mX(t?s)?mX(t)]n!nexp{?[mX(t?s)?mX(t)]},(n?0)

nn!上式表明P{X(t?s)?X(t)?n}不仅是t的函数，也是s的函数。

P{X(t)?n}?[mX(t)]exp{?mX(t)}

3.4 复合泊松过程

定义3.5 设{N(t),t?0}是强度为?的泊松过程，{Yk,k?1,2,...}是一列独立同分布随机变量，且与{N(t),t?0}独立，令

x(t)??Yt?0,

kk?1N(t)则称{X(t),t?0}为复合泊松过程。

N(t) 定理3.6 设x(t)??k?1Ykt?0,是复合泊松过程，则

（1）。{X(t),t?0}是独立增量过程；

（2）X(t)的特征函数gX(t)(u)?exp{其中gY(u)是随机变量Y1的特?t[gY(u)?1]}，

征函数；?是事件的到达率。

（3）若E(Y12)??,则E[X(t)]??tE[Y1],D[X(t)]??tE[Y12].

第4章 马尔可夫链

§4.1 马尔可夫链的概念及转移概率

一、马尔可夫键的定义

定义1 设有随机过程{Xn,n?T}，若对于任意的整数n?T和任意的i0,i1,?,in?1?I，条件概率满足

P{Xn?1?in?1X0?i0,X1?i1,?,Xn?in}?P{Xn?1?in?1Xn?in}则称{Xn,n?T}为马尔可夫链，简称马氏链。

二、转移概率

定义2 称条件概率

pij(n)?P{Xn?1?j|Xn?i}

为马尔可夫链{Xn,n?T}在时刻n的一步转移概率，其中i,j?I，简称为转移概率。 定义 3 若对任意的i,j?I，马尔可夫链{Xn,n?T}的转移概率pij(n)与n无关，则称马尔可夫链是齐次的，并记pij(n)为pij。

定义4 称条件概率

(n)pij?P{Xm?n?j|Xm?i}(i,j?I,m?0,n?1)

6

随机过程复习

为马尔可夫链{Xn,n?T}的n步转移概率，

定理 1 设{Xn,n?T}为马尔可夫链，则对任意整数n?0,0?l?n和i,j?I，n步

(n)转移概率pij具有下列性质：

(n)(l)(n?l)(1)pij??pikpkj;k?I(n)(2)pij???k1?Ikn?1?I?pik1pk1k2?pkn?1j;

(3)P(n)?PP(n?1);(4)P(n)?Pn.定义5 设{Xn,n?T}为马尔可夫链，称

pj?P{X0?j}和Pj(n)?P{Xn?j},(j?I)

为{Xn,n?T}的初始概率和绝对概率，并分别称{pj,j?I}和{pj(n),j?I}为{Xn,n?T}的初始分布和绝对分布，简记为{pj}和{pj(n)}。

定理2 设{Xn,n?T}为马尔可夫链，则对任意j?I和n?1，绝对概率pj(n)具有下列性质：

(n)(1)pj(n)??pipiji?I(2)pj(n)??pi(n?1)piji?I

(3)PT(n)?PT(0)P(n)(4)PT(n)?PT(n?1)P定理3 设{Xn,n?T}为马尔可夫链，则对任意i1,i2,?,in?I和n?1，有

P{X1?i1,X2?i2,?,Xn?in}??pipii1pi1i2?pin?1in

i?I§4.2 马尔可夫链的状态分类

一、状态分类

假设{Xn,n?0}是齐次马尔可夫链，其状态空间I?{0,1,2,?}，

转移概率是pij,i,j?I, 初始分布为{pj,i,j?I} 。

(n)定义4.6 如集合{n:n?1,pii?0}非空，则称该集合的最大公约数(n)d?d(i)?G.C.D{n:pii?0}为状态i的周期。如d?1就称i为周期的，如d?1就称i为(n)非周期的。（若对每一个不可被d整除的n，有pii=0，且d是具有此性质的最大正整数，

则称d为状态i的周期。）

(nd)引理4.1 如i的周期为d，则存在正整数M，对一切n?M，有pii?0。

定义 对i,j?S,记 fij(0)1)?0,fij(?P{X1?j|X0?i}

fij(n)?P{Xn?j,Xk?j,k?1,2,?,n?1|X0?i},n?2 （4.15） fij??fij(n)

n?T(n)(?)称fij是系统在0时从i出发经过n步转移后首次到达状态j的概率，而fij则是在0时从(n)i出发，系统在有限步转移内不可能到达状态j的概率。我们将fij和fij统称为首达概率（又 7

随机过程复习

称首中概率）。

引理

（1） 0?fij(n)?fij ?i,j,n （2） 首达概率可以用一步转移概率来表示： fij(n)?????pii1pi1i2?pin?1j

i1?ji2?jin?1?j定义4.7 若fii=1，则称状态i为常返的；若fii<1，则称状态i为非常返的。 定义4.8 如

?i??，则称常返态i为正常返的；如?i??，则称常返态i为零常返的，非周期的正常返态称为遍历状态。

从状态是否常返，如常返的话是否正常返，如正常返的话是否非周期等三层次上将状态区分为以下的类型：

?非常返态(fii?1)??零常返态(?ii=?)?? 状态????常返态(fii?1)??有周期(d?1)正常返态(?

p(n)ij??fk?1n(k)ijp(n?k)jj??fij(n?k)p(jjk). （4.16）

k?0n(n)引理4.2 G.C.D{n:n?1,pii?0}?G.C.D{n:n?1,fii(n)?0}.

二、常返态的性质及其性质

定理4.5 状态i常返的充要条件为

如i非常返，则

?pn?0?ii?? （4.18）

?pii?n?0?1. 1?fiid.

（4.26）

定理4.7 设i常返且有周期d，则

(nd)limp?ii

n???i其中?i为i的平均返回时间。当?i??时，推论 设i常返，则

d?i?0.

1(n)(1) i零常返?limpii?0；（2）i遍历?limpii?(n)n??n???i?0。

定理4.8 可达关系与互通关系都具有传递性，即

如果i?j，j?k，则i?k； 如果i?k，j?k，则i?k。 定理4.9 如i?j,则

（1） i与j同为常返或非常返，若为常返，则它们同为正常返或零常返； （2） i与j有相同的周期。

8