信息与编码习题答案

P(T)?P(TA)P(A)?P(TB)P(B)?0.5p?0.3?(1?p)?0.3?0.2p同理P(F)?0.5?0.2p,P(R)?0.2I(p)?I(X;Y)?H(Y)?H(YX)??(0.3?0.2p)log2(0.3?0.2p)?(0.5?0.2p)log2(0.5?0.2p)?0.2log20.2?(0.5plog22?0.3plog210?0.2plog25?0.3(1?p)log210?0.5(1?p)log22?330.2(1?p)log25)?0.3log20.3?0.5log20.5?(0.3?0.2p)log2(0.3?0.2p)?(0.5?0.2p)log2(0.5?0.2p)令I'(p)?0.2log2(0.5?0.2p)?0,得p?0.50.3?0.2p?I(p)max?I(p)p?0.5?0.03645比特

2.9 随机掷三颗骰子，以X表示第一颗骰子抛掷的结果，以Y表示第一和第二颗骰子抛掷的点数之和，以Z表示三颗骰子的点数之和。试求H(Z|Y)、H(X|Y)、H(Z|XY)，H(XZ|Y)和H(Z|X)。

解:令X=X1,Y=X1+X2,Z=X1+X2+X3,

H(X1)=H(X2)=H(X3)=log26 比特 H(X)= H(X1) =log26=2.585 比特 H(Y)= H(X2+X3)

=

2(12363364365361log236?log2?log2?log2?log2)?log26 363623633643656= 3.2744比特

H(Z)= H(X1+X2+X3)

?2(1321662161021615216log2216?log2?log2?log2?log2216216321662161021615 212162521627216log2?log2?log2)216212162521627= 3.5993 比特 所以

H(Z/Y)= H(X3)= 2.585 比特

H(Z/X) = H(X2+X3)= 3.2744比特

H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特 H(Z/XY)=H(Z/Y)= 2.585比特

H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特

5

2.12 计算习题2.9中的I (Y；Z)，I (X；Z)，I (XY；Z)，I (Y；Z|X)和I (X；Z|Y)。

解:

I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X3)= 3.5993-2.585 =1.0143比特 I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744=0.3249比特 I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =1.0143比特

I(Y;Z/X)=H(Z/X)-H(Z/XY)= H(X2+X3)-H(X3) =3.2744-2.585 =0.6894比特 I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y) =0

2.10 设有一个系统传送10个数字：0, 1, ?, 9。奇数在传送时以0.5的概率错成另外

的奇数，而其它数字总能正确接收。试求收到一个数字平均得到的信息量。

解:设系统输出10个数字X等概,接收数字为Y,

191显然 w(j)??Q(i)p(ji)?， H(Y)=log10 p(ji)??10i?110i?0H(Y/X)????p(x,y)log2p(yx)???p(x,y)log2p(yx)yx?偶yx?奇9?0??p(x)p(xx)log2p(xx)?i?奇y?x,奇x?奇??p(x)p(yx)log2p(yx)

1111??log22?5?4???log28102108?1比特?5?所以 I(X;Y)= log210?1?2.3219比特

2.11 令{ul, u2, ?, u8}为一等概消息集，各消息相应被编成下述二元码字:

ul=0000，u2=0011，u3=0101，u4=0110 u5=1001，u6=1010，u7=1100，u8=1111 通过转移概率为p的BSC传送。试求

(a) 接收的第一个数字0与ul之间的互信息量。 (b) 接收的前二个数字00与ul之间的互信息量。 (c) 接收的前三个数字000与ul之间酌互信息量。 (d) 接收的前四个数字0000与ul之间的互信息量。

解:（a）接收前一个数字为0的概率

w(0)??q(ui)p(0ui)?i?0812

I(u1;0)?log2p(0u1)1?p?log21?1?log2(1?p)w(0)2bits

6

（b）同理 w(00)??q(u)p(00u)?iii?0814

p(00u1)(1?p)2I(u1;00)?log2?log2?2?2log2(1?p)1w(00)4（c）同理 w(000)?bits

?q(u)p(000u)?iii?0818

p(000u1)(1?p)3I(u1;000)?log2?log2?3?3log2(1?p)1w(000)8bits

（d）同理 w(0000)??q(u)p(0000u)?iii?0818((1?p)6?6p2(1?p)2?p4)

p(0000u1)(1?p)4I(u1;0000)?log2?log21w(0000)((1?p)6?6p2(1?p)2?p4)8?log28

2.13 令X、Y、Z是概率空间，试证明下述关系式成立。

(a) H(YZ|X)≤H(Y|X)＋H(Z|X)，给出等号成立的条件。 (b) H(YZ|X)=H(Y|X)＋H(Z|XY)。

(c) H(Z|XY)≤H(Z|X)，给出等号成立的条件。

(1?p)(1?p)6?6p2(1?p)2?p44

bits 解: (b)

H(YZ/X)????p(xyz)logxyz1p(yz/x)1p(y/x)p(z/xy)11????p(xyz)logp(y/x)p(z/xy)xyz

????p(xyz)logxyz????p(xyz)logxyz?H(Y/X)?H(Z/XY)(c)

H(Z/XY)???p(xy)?p(z/xy)logxyz1p(z/xy)1（由第二基本不等式） p(z/x)???p(xy)?p(z/xy)logxyz?H(Z/X)或

7

H(Z/XY)?H(Z/X)???p(xy)?p(z/xy)logxyz1p(z/xy)???p(xy)?p(z/xy)logxyz1p(z/x)（由第一基本

???p(xy)?p(z/xy)logxyzp(z/x)p(z/xy)p(z/x)?1)p(z/xy)???p(xy)?p(z/xy)loge?(xyz?0不等式）

所以 H(Z/XY)?H(Z/X)，

等号成立的条件为p(z/xy)?p(z/x),对所有x?X,y?Y,z?Z,即在给定X条件

下Y与Z相互独立。

(a)

H(Y/X)?H(Z/X)?H(Y/X)?H(Z/XY)?H(YZ/X)

等号成立的条件为p(z/xy)?p(z/x),对所有x?X,y?Y,z?Z,即在给定X条件

下Y与Z相互独立。

2.14 对于任意概率事件集X、Y、Z，证明下述三角不等式成立。

H(X|Y)＋H(Y|Z)≥H(X|Z)

H(X|Y)/H(XY)＋H(Y|Z)/H(YZ)≥H(X|Z)/H(XZ)

解: (a) H(X/Y)?H(Y/Z)?H(X/YZ)?H(Y/Z)?H(XY/Z)?H(X/Z)

(b)

8