EX&ANS_C4马尔可夫链

练习 随机过程练习题

1．设质点在区间[0，4]的整数点作随机游动，到达0点或4点后以概率1停留在原处，

在其它整数点分别以概率

1向左、右移动一格或停留在原处。求质点随机游动的一3步和二步转移的概率矩阵。 2．独立地重复抛掷一枚硬币，每次抛掷出现正面的概率为p，对于n?2求，令Xn=0，

1，2或3，这些值分别对应于第n?1次和第n次抛掷的结果为（正，正），（正，反），

（反，正）或（反，反）。求马尔可夫链{Xn,n?0,1,2,?}的一步和二步转移的概率矩阵。

3．设{Xn,n?0}为马尔可夫链，试证：

（1）P{Xn?1?in?1,Xn?2?in?2,?,Xn?m?in?m|X0?i0,X1?i1,?,Xn?in} ?P{Xn?1?in?1,Xn?2?in?2,?,Xn?m?in?m|Xn?in}

（2）P{X0?i0,X1?i1,?,Xn?in,Xn?2?in?2,?,Xn?m?in?m|Xn?1?in?1}

?P{X0?i0,X1?i1,?,Xn?in|Xn?1?in?1}?P{Xn?2?in?2,?,Xn?m? in?m|Xn?1?in?1}

4．设{Xn,n?1}为有限齐次马尔可夫链，其初始分布和转移概率矩阵为pi?P{X0?

?1/41/41/41/4???1?1/41/41/41/4?i}?,i?1,2,3,4，P??，试证 ?41/41/81/43/8???1/41/41/41/4???P{X2?4|X0?1,1?X1?4}?P{X2?4|1?X1?4}

5．设{X(t),t?T}为随机过程，且X1?X(t1)，X2?X(t2),?,Xn?X(tn),?为独

立同分布随机变量序列，令Y0?0,Y1?Y(t1)?X1,Yn?cYn?1?Xn,n?2，试证{Yn,n?0}是马尔可夫链。

?0.50.50???(3)6．已知随机游动的转移概率矩阵为P??00.50.5?，求三步转移概率矩阵P及

?0.500.5???当初始分布为P{X0?1}?P{X0?2}?0,P{X0?3}?1时经三步转移后处于状态

3的概率。

7．已知本月销售状态的初始分布和转移概率矩阵如下：

?0.80.80.1???T（1）P(0)?(0.4,0.2,0.4)，P??0.10.70.2?；

?0.20.20.6???

?0.7??0.1（2）PT(0)?(0.2,0.2,0.3,0.3)，P??0.1??0.1?0.10.60.10.10.10.20.60.20.1??0.1?； ?0.2?0.5??求下一、二个月的销售状态分布。

8．某商品六年共24个季度销售记录如表（状态1——畅销，状态2——滞销） 1 2 3 4 5 6 7 8 9 10 11 12 季 节 1 1 2 1 2 2 1 1 1 2 1 2 销售状态 13 14 15 16 17 18 19 20 21 22 23 24 季 节 1 1 2 2 1 1 2 1 2 1 1 1 销售状态 以频率估计概率。求（1）销售状态的初始分布；（2）三步转移概率矩阵及三步转移后的销售状态分布。

10．讨论下列转移概率矩阵的马尔可夫链的状态分类。

0??0.20.30.50??010??0??0.70.3000??1000??1000?；（1）P??0（2）P??；

??0.30.700???000.40.6??0?0.60.20.20??0??0010????10?????0????qrp0???0??0qrp0??0??，其中q?r?p?1，I?{0,1,?,b} （3）P?????????????0???0qrp????0?????01????p1q10???1/21/2??(n)0pq??11．设马尔可夫链的转移概率矩阵为（1）（2）计算f11，?22?；?1/32/3?；

???q??30p3?(n)，n?1,2,3 f1212．设马尔可夫链的状态空间I?{1,2,?,7}，转移概率矩阵为

?0.40.2??0.10.3?00?P??00?00??00?0?00.10.10.1??0.20.20.10.10.1?0.60.4000??0.400.600? 0.20.50.300??0000.30.7??0000.80.2?0.10求状态的分类及各常返闭集的平稳分布。

?010??????q0p0???1?113．设马尔可夫链的转移概率矩阵为P??，求它的平稳分?0q20p20?????????????布。

14．艾伦菲斯特(E renfest)链。设甲乙两个容器共有2N个球，每隔单位时间从这2N个球中任取一球放入另一容器中，记Xn为在时刻n甲容器中球的个数，则{Xn,n?0}是齐次马尔可夫链，称为艾伦菲斯特链，求该链的平稳分布。

15．将2个红球4个白球任意地分别放入甲、乙两个盒子中，每个盒子放3个，现从每个盒子中各任取一球，交换后放回盒中（甲盒内取出的球放入乙盒中，乙盒内取出的球放入甲盒中），以X(n)表示经过n次交换后甲盒中红球数，则{X(n),n?0}为一齐次马尔可夫链，（1）求一步转移概率矩阵；（2）证明{X(n),n?0}是遍历链；（3）求

(n)limPij,j?0,1,2 n??16．设{X(n),n?1}为非周期不可约马尔可夫链，状态空间为I，若对一切j?I，其一步转移概率矩阵满足条件：

?pi?Iij（2）?1，试证（1）对一切j?I，?p(inj)?1；

i?I若状态空间I?{1,2,?,m}，计算各状态的平均返回时间。

17．设河流每天的BOD（生物耗氧量）浓度为齐次马尔可夫链，状态空间I?{1,2,3,4}是按BOD浓度为极低、低、中、高分别表示的，其一步转移概率矩阵（以一天为单位）

?0.5??0.2为P??0.1??0?

0.10??0.20.1?。若BOD浓度为高，则称河流处于污染状态。（1）证明

0.60.1??0.40.4??该链是遍历链；（2）求该链的平稳分布；（3）河流再次达到污染的平均时间?4。

答 案 1．解：质点随机游动的一步转移的概率矩阵为

0.40.50.20.2

0000??1?1/31/31/30?0??P??01/31/31/30?

??001/31/31/3???0001??0?质点随机游动的二步转移的概率矩阵为

0000??1?4/9/2/92/91/9?0??(2)2P?P??1/92/93/92/91/9?

??01/92/92/94/9???0001??0?2．解：马尔可夫链{Xn,n?0,1,2,?}的一步转移的概率矩阵为

?pq00??00pq?? P???pq00???00pq??马尔可夫链{Xn,n?0,1,2,?}的一步和二步转移的概率矩阵为

P(2)?p2?2p2?P??2?p?2??ppqpqpqpqpqq2??pqq2? 2?pqq?pqq2??3．证：

（1）P{Xn?1?in?1,Xn?2?in?2,?,Xn?m?in?m|X0?i0,X1?i1,?,Xn?in}

P{X0?i0,X1?i1,?,Xn?in,Xn?1?in?1,Xn?2?in?2,?,Xn?m?in?m}

P{X0?i0,X1?i1,?,Xn?in}pi0pi0i1?pin?1inpinin?1?pin?m?1in?m?pinin?1?pin?m?1in?m ?pi0pi0i1?pin?1in?P{Xn?in,Xn?1?in?1,?,Xn?m?in?m}

P{Xn?in}?P{Xn?1?in?1,Xn?2?in?2,?,Xn?m?in?m|Xn?in} ?

（2）P{X0?i0,X1?i1,?,Xn?in,Xn?2?in?2,?,Xn?m?in?m|Xn?1?in?1}

?P{X0?i0,X1?i1,?,Xn?in,Xn?1?in?1,Xn?2?in?2,?,Xn?m?in?m}

P{Xn?1?in?1}

P{X0?i0,?,Xn?1?in?1}P{Xn?2?in?2,?,Xn?m?in?m|X0?i0,?,Xn?1?in?1}P{Xn?1?in?1}?P{X0?i0,?,Xn?in|Xn?1?in?1}?P{Xn?2?in?2,?,Xn?m?in?m|Xn?1?in?1}

P{X0?1,1?X1?4,X2?4,}4．证：P{X2?4|X0?1,1?X1?4}?

P{X0?1,1?X1?4}P{X0?1,X1?2,X2?4}?P{X0?1,X1?3,X2?4,} ?P{X0?1,X1?2}?P{X0?1,X1?3}111113?????p1p12p24?p1p13p344444485 ???

1111p1p12?p1p1316???4444P{X2?4,1?X1?4} P{X2?4|1?X1?4}?P{1?X1?4}P{X1?2,X2?4}?P{X1?3,X2?4} ?P{X1?2}?P{X1?3}?P{X1?2}p24?P{X1?3}p34??P{X1?2}?P{X1?3}p24?pi2?p34?pi3i?14i?144p24?pipi2?p34?pipi3i?1i?144?p(pii?14

i2?pi3)??(pi?1i2?pi3)173???119? ?488760?18

5．解：由题意Yn?Xn?CYn?1知Yn是(X1,?,Xn)的函数，由于X1,?,Xn,?是相互独立的随机变量，故对?n?0，Xn?1与(Y0,Y1,?,Yn)独立。

P{Yn?1?in?1|Y0?0,Y1?i1,?,Yn?in}

?P{Yn?1?CYn?in?1?Cin|Y0?0,Y1?i1,?,Yn?in} ?P{Xn?1?in?1?Cin|Y0?0,Y1?i1,?,Yn?in}

?P{Xn?1?in?1?Cin}?P{Xn?1?in?1?Cin|Yn?in}?P{Yn?1?in?1|Yn?in} 由ik，k?1,2,?,n?1的任意性知{Yn,n?0}为马尔可夫链。

6．解：P(3)?0.250.3750.375??，p(3)?0.25

??0.3750.250.3752????0.3750.3750.25??

TT7．解：P(1)?(0.42,0.26,0.32)，P(2)?(0.426,0.288,0.286)

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库EX&ANS_C4马尔可夫链在线全文阅读。