习题四

1. 设{X(n),n?0,1,2,?}为马氏链，证明

P{X(1)?x1|X(2)?x2,X(3)?x3,?,X(n)?xn}?P{X(1)?x1|X(2)?x2}

即马氏链的逆序也构成一个马氏链. 2. 如果马氏链的转移概率矩阵为

?01?P???

10??证明：此马氏链不是遍历的马氏链，但具有平稳分布.

3. 一个开关有两种状态：开或关，设它现在开着时，经过单位时间(s)后，它仍然开着的

概率为为

11，关上的概率为；当它现在关着时，经过单位时间(s)后它仍然关着的概率2231，它打开的概率为. 假设开关的状态转移只在0,1,2,3,?(s)时进行. 设t?0时，44开关开着. 求t?3时，开关关着和开关开着的概率.

4. 甲乙两人进行比赛，设每局比赛甲胜的概率为p，乙胜的概率为q，和局的概率为r，

p?q?r?1，设每局比赛后胜者记“1”，分负者记“-1”分，和局记“0”分. 当两人中有一个获得2分时，结束比赛. 以X(n)表示比赛至第n局时，甲获得的分数. {X(n),n?0,1,2,?}是一个齐次马氏链.

（1）写出此马氏链的状态空间； （2）写出状态转移矩阵； （3）计算2步转移矩阵；

（4）问在甲获得1分的情况下，再赛2局就结束比赛的概率为多少？

15. A、B、C三家公司决定在某一时间推销一新产品. 当时它们各拥有的市场，然而一年

3后，情况发生了如下的变化：

（1）A保住40%的顾客，而失去30%给B，失去30%给C； （2）B保住30%的顾客，而失去60%给A，失去10%给C； （3）C保住30%的顾客，而失去60%给A，失去10%给B.

如果这种趋势继续下去，试问第2年底各公司拥有多少份额的市场？（从长远来看，情况又如何？）

6. 一质点沿圆周游动，圆周上按顺时针等距排列五个点0，1，2，3，4，把圆周分成五格。

质点每次游动或顺时针或逆时针移动一格，顺时针移动一格的概率为p，逆时针移动一

格的概率为1-p，设X?n?表示经n次移动后质点所处的位置，则{X?n?,n?0,1,2,?}是一齐次马尔可夫链。试求： （1）状态空间；

（2）一步转移概率矩阵； （3）极限分布。

7. 赌徒甲有a元，赌徒乙有b元，两人进行赌博. 每赌一局输者给胜者1元，没有和局，

直赌到两人中有一个输光为止. 设在每一局中甲胜的概率为的赌金. {X(n),n?0,1,2,?}为齐次马氏链.

1，X(n)表示第n局时甲2（1）写出状态空间和状态转移矩阵； （2）求出甲输光的概率.

8. 设齐次马氏链{X(n),n?0,1,2,?}的状态空间E?{1,2,3}，状态转移矩阵

?1?2?1P???2??0??121413?0??1? 4??2?3??（1）讨论其遍历性；（2）求平稳分布；（3）计算下列概率.

i）P{X(4)?3|X(1)?1,X(2)?1}；ii）P{X(2)?1,X(3)?2|X(1)?1}.

9. 已知齐次马氏链{X(n),n?0,1,2,?}的状态空间E?{1,2,3}，状态转移矩阵为

?1?2?1P???3??1?3?1313121?6??1? 3??1?6??初始分布

X(0) P （1）计算2步转移矩阵； （2）求X(2)的分布律；

（3）求平稳分布.

10. 已知随机游动的质点构成一个马氏链，其状态空间

为E??1,2,3,4,5?，一步转移概率矩阵为

?1?1??6??P??0???0??0?01216000131216000131200??0????0? ?1??3?1??1 2 3 2 52 51 5

试求质点从状态2出发，分别被吸收于状态1、状态5的概率。

11. 齐次马氏链{X(n),n?0,1,2,?}，状态空间为E?{1,2,3,4}，状态转移矩阵

?1?3??1P??2??0??0?23000012340?0??0?? ?1?4?1??（1）画出状态转移概率图形；（2）讨论各状态性质；（3）分解状态空间.

12. 一个电路供给3个电焊工. 如果一个电焊工在t时刻正在用电，在(t,t??t)中他将停止

用电的概率是??t?o(?t)；如果一个电焊工在t时刻没有用电，在(t,t??t)中他将需要电的概率是??t?o(?t). 焊工们独立地工作. 设X(t)表示时刻t用电的焊工数. {X(t),t?0}是一个生灭过程. （1）画出状态转移速度图； （2）写出状态转移速率矩阵； （3）求出平稳分布.

13. 设有一电脉冲，脉冲的幅度是随机的，其幅度的变域为{1,2,3,?,a}，且在其上服从均

匀分布，现用一电表测量其幅度，每隔一单位时间测量一次，从第一次测量算起，记录其最大值X?n?,n?1.

（1）试说明?X?n?,n?1?.是一齐次马尔可夫链；

（2）写出一步转移概率矩阵；

（3）仪器记录到最大值a的平均时间.

14. 在天气预报问题中，若今日是否下雨依赖于前两天的天气状况，并规定：昨日、今日都 下雨，明日有雨的概率为0.7；昨日无雨,今日有雨，明日有雨的概率为0.5；昨日有雨、今日无雨，明日有雨的概率为0.4；昨日、今日均无雨，明日有雨的概率为0.2。该问题是否可以用一马尔可夫链表示。若可以，求在星期一、星期二均下雨条件下，星期四下雨的概率。 15. 考虑Bernoulli过程的移动平均

Yn?1?Xn?Xn?1? 2其中?Xn?n?1,2,?是p=1/2的独立Bernoulli序列。试证明?Yn?n?1,2,?不是一个Markov过程。

16. 已知马氏链?Xn,n?0?的状态空间为E??1,2,3,4?，其初始分布和转移概率矩阵为

1pi?P?X0?i??,i?1,2,3,4,

4?1?4??1?4P???1?4?1??414141814141414141?4??1?4?? 3?8?1??4?试证：

（1）P?X2?4|X0?1,1?X1?4??P?X2?4|1?X1?4?. （2）P?X3?4|1?X1?4,X2?3??P?X3?4|X2?3?.

17. (二维对称随机游动)设质点的位置是平面上的整数格点,每个格点有4个相邻的位置,质

1的概率转移到这4个相邻位置中的每一个整数格点上.讨论平面上对称随机4游动的常返性.

解：任意两个整数格点都是互通的，从而二维对称随机游动为不可约马氏链。其周期为2。考查各整数格点的常返性，只需考查原点的常返性即可。

点分别以

记质点从原点出发经过2n步回到原点的概率为P00?2n?. 此时质点必须在x轴上向右移动i步,向左移动i步;在y轴上向上移动j步,向下也移动j步,并且i?j?n。所以有 ?1?i?1?n?i?1?P00?2n???C??C2n?i??C2n?2i??44?????4?i?01n(2n)!?2n?4i?0?i!(n?i)!?2i2nniin?iCn?in?i?1????4?n?i1?2n4?142n?n!?n!?i?0nn2ni?0nn(2n)!n!?n!?i!(n?i)!?in22

?C??C???Cni?i?022nC2n?2n4n??C2n???42n由string 公式，当n充分大时

nn2?n n!?en从而当n充分大时

n??C2n??P00?2n??42n2??2n?2n2??2n??2n1?e? ?2n?nn4?n2??nn2??n????enen??1?n??1???，从而?P00?n??? 级数??nn?0n?0?2即原点为常返态，那个人平面上的对称随机游动是常返的.