信息论基础试卷期末A卷

10、在下面空格中选择填入数学符号“?,?,?,?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。

（2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

二、掷两粒骰子，各面出现的概率都是1/6，计算信息量：

1.当点数和为3时，该消息包含的信息量是多少？ 2.当点数和为7是，该消息包含的信息量是多少？ 3.两个点数中没有一个是1的自信息是多少？

解：1.P（“点数和为3”）=P（1,2）+ P（1,2）=1/36+1/36=1/18 则该消息包含的信息量是：I=-logP（“点数和为3”）=log18=4.17bit 2.P（“点数和为7”）=P（1,6）+ P（6,1）+ P（5,2）+ P（2,5）+ P（3,4）+ P（4,3）=1/36 ?6=1/6

则该消息包含的信息量是：I=-logP（“点数和为7”）=log6=2.585bit 3.P（“两个点数没有一个是1”）=1-P（“两个点数中至少有一个是1”） =1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36

则该消息包含的信息量是：I=-logP（“两个点数中没有一个是1”）=log25/36=0.53bit

三、设X、Y是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量Z，取Z=YX（一般乘积）。试计算：

1.H（Y）、H（Z）； 2.H（XY）、H（YZ）； 3.I（X;Y）、I（Y;Z）； 解：1. H（Y）=-111??1=1bit/符号 P（y）logP（y）??log?log?ii??2222??i?1

2

?Z=YX而且X和Y相互独立

（Z1=1）=P(Y=1)?P(X?1)?P(Y??1)?P(X??1)= ? P111?2??2? 222111P（Z2=-1）=P(Y=1)?P(X??1)?P(Y??1)?P(X?1)= ?2??2?

222故H(Z)= ?

?P(z)logP(z)=1bit/符号

i?1i2i2.从上式可以看出:Y与X的联合概率分布为:

P(Y,Z) Z=1 Z=-1 Y=1 0.25 0.25 Y=-1 0.25 0.25 H(YZ)=H(X)+H(Y)=1+1=2bit/符号

3.?X与Y相互独立，故H(X|Y)=H(X)=1bit/符号 ?I（X;Y）=H(X)-H(X|Y)=1-1=0bit/符号

I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/符号

四、如图所示为一个三状态马尔科夫信源的转移概率矩阵

?1?2?1P=??2?1???4012121?2??0? ??1??4?4. 绘制状态转移图；

5. 求该马尔科夫信源的稳态分布； 6. 求极限熵；

解：1.状态转移图如右图 2.由公式p(Ej)??P(E)P(Eii?13j|Ei),可得其三个状态的稳态概率为：

111?P(E)?P(E)?P(E)?P(E3)?3112?P(E)?2241??711??2??P(E2)?P(E2)?P(E3)??P(E2)? 22?7??112??P(E3)?P(E1)?P(E3)P(E)?243??7??P(E)?P(E)?P(E)?1123?

3.其极限熵:

3112112111H?= -?P（Ei）（HX|Ei）=?H（，0，）+?H（，，0）+?H（，，）7227227424i?1

3228=?1+?1+?1.5=bit/符号7777

五、在干扰离散对称信道上传输符号1和0，已知P（0）=1/4,P(1)=3/4,试求：

30 0.9 0.1 0.1 0 1 0.9 1

4. 该信道的转移概率矩阵P 5. 信道疑义度H（X|Y）

6. 该信道的信道容量以及其输入概率分布

解：1.该转移概率矩阵为 P=??0.90.1? ??0.10.9? 2.根据P（XY）=P（Y|X）?P（X），可得联合概率