信息编码习题答案或提示

真函数为D???0?1?，求信源的率失真函数R?D?。 ???01?解：R(D)?1?D奈特/符号。提示：注意参量S<0, 求 I(X;Y)?H(Y)?H(Y/X)?1?D

4.5 4.6 4.7 4.8 4.9

略， 略

参见教材p110. 略

设某地区的“晴天”概率p?晴??5/6，“雨天”概率p?雨??1/6，把“晴天”预报为“雨天”，把“雨天”预报为“晴天”造成的损失均为a元。又设该地区的天气预报系统把“晴天”预报为“晴天”，“雨天”预报为“雨天”的概率均为0.9；把“晴天”预报为“雨天”，把“雨天”预报为“晴天”的概率均为0.1。试计算这种预报系统的信息价值率v(元/比特)。

?晴雨?Dmax?D(R)Dj??，解：Dmax?min预报结果：， v??0.2119?(元/比特）??237jI(X;Y)?3030??晴雨??0.90.1??0??提示：天气信源：?51?，预报信道矩阵：?，失真矩阵： ???6??6?0.10.9???0?16

4.10 设离散无记忆信源?? X?? a1 a2 a3???? 其失真度为汉明失真度。 ??P(X)??1/31/31/3?(1) 求Dmin,R?Dmin?，并写出相应试验信道的信道矩阵； (2) 求Dmax,R?Dmax?，并写出相应试验信道的信道矩阵；

(3) 若允许平均失真度D?1/3，试问信源的每一个信源符号平均最少由几个

二进制码符号表示？

?100?? 010解：(1)Dmin?0,R(Dmin)?1.585比特/符号，相应的试验信道矩阵为?????001??2(2)Dmax?,R(Dmax)?0，相应的试验信道矩阵不唯一

3D(3)由教材例题可知R(D)?ln3?Dln?(1?D)ln(1?D)奈特/符号，

21R()?0.231奈特/符号?0.331比特/符号，因此每个信源符号最少要用30.331个二进制码表示。

4.11 见教材例题。

13

第五章习题

5.1 设有信源?a2a3a4a5a6a7??X??a1? ? ??P(X)0.20.190.180.170.150.10.01????(1) 求信源熵H(X)；

(2) 编二进制香农码；

(3) 计算其平均码长及编码效率。 解：(1) 2.609比特/信源符号

x2x3x4x5x6x7??x1(2) 码字：?? 00000101110010111101111110??(3) 平均码长3.14比特/符号，编码效率83.09%

5.2 对题5.1的信源编二进制费诺码，计算其编码效率。

x3x4x5x6x7??x1x2解：(1) 码字：??， 000100111011011101111??(2) 平均码长2.74比特/符号，编码效率95.22%

5.3

对题5.1的信源分别编二进制和三进制赫夫曼码，计算各自的平均码长及编码效率。

x4x5x6x7??x1x2x3解：二进制码码字：??， 101100000101001100111??平均码长2.72比特/符号，编码效率95.92%

三进制码码字：??x1x2x3x4x5x6x7??， 2000102101112??平均码长1.8比特/符号，编码效率91.45%

5.4 设信源

a?X???1????1P(X)????2a214a318a4116a5132a6a7a8??111?64128128??

(1) 计算信源熵；

(2) 编二进制香农码和二进制费诺码；

(3) 计算二进制香农码和费诺码的平均码长和编码效率； (4) 编三进制费诺码；

(5) 计算三进制费诺码的平均码长和编码效率。 解：(1) H(X)?1.984375(比特/符号) (2) 二元香农码：

14

信源符号 a1 a2 a3 a4 a5 概率 1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/128 累加概率 ?log2p(ai) 0 1/2 3/4 7/8 15/16 31/32 63/64 127/128 1 2 3 4 5 6 7 7 ki 累加概率 小数表示 码字 0 10 110 1110 11110 111110 1111110 1111111 a6 a7 a8 1 2 3 4 5 6 7 7 0.0 0.10 0.110 0.1110 0.11110 0.111110 0.1111110 0.1111111 5/符号)，编码效率：?? (3) K?1.9843(7比特

H(X)?100%?100% K二元费诺码码字与香农码相同，顾二者平均码长和编码效率相同。

(4) 三元费诺码： 信源符号 概率 码字 a1 0 0 1/2 a2 1 1 1/4 a3 0 20 1/8 a4 1 21 1/16 a5 0 220 1/32 2 a6 1 221 1/64 2 a7 0 2220 1/128 2 a8 1 2221 1/128 25 (5) K?1.3281，(比特/符号)，编码效率：??H(X)?100%?94.27% Klog23 5.5 略

5.6 有二元平稳马氏链，已知p(00)?0.8，p(11)?0.7，求它的符号熵。用三个

符号合成一个来编二进制哈夫曼码，求新符号的平均码字长度和编码效率。（略）

5.7 对题5.6的信源进行游程编码。若“0”游程长度的截止值为16，“1”游程长度的截止值为8，求编码效率。（略）

15

5.8 选择帧长N=63

(1) 对001000000000000000000000000000000100000000000000000000000000000编L?D码； (2) 对100001000010110000000001001000010100100000000111000001000000001编L?D码，再译

码；

(3) 对000000000000000000000000000000000000000000000000000000000000000编L?D码； (4) 对10100011010111000110001110100110000111101100101000110101011010010 编L?D码； (5) 对上述结果进行讨论。

解：(1) Q值：2；Q的长度：log2(63?1)?6，Q的编码：000010, n1?3,n2?34

??63???3?1??34?1?T???2????11 ?1?????2???530；T的长度：?log2?????????T的编码：01000010010

L?D码：00001001000010010

(2) (a)编码：

Q值：15；Q的长度：log2(63?1)?6，Q的编码：001111

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 i ni 1 6 11 13 14 24 27 32 34 37 46 47 48 54 63 1345689101112131415T?C0?C52?C10?C12?C13?C23?C7726?C31?C33?C36?C45?C46?C47?C53?C62?0?10?120?495?1287?100947?657800?7888725?38567100?254186856

?10150595910?38910617655?140676848445?2403979904200?93052749919920?95,646,769,289,470??63?? T的长度：?log2?69895??47 ?15?????log21221317342???? T的编码：

010,1011,0111, 1110,1011,1111,1110,0000,0000,0000,0000,0000

L-D码：

0,0111,1010,1011,0111, 1110,1011,1111,1110,0000,0000,0000,0000,0000 (b) 译码：Q码001111，Q=15

1515 C62?93,052,749,919,920，C63?122,131,734,269,895

1515 显然，C62，故n15?63 ?T?C6315T1?T?C62?95,646,769,289,470?93,052,749,919,920?2,594,019,369,5501414C53?2,403,979,904,200， C54?3,245,372,870,670

1414，所以n14?54 C53?T1?C54Q 15 14

K 62 53 Q CK93052749919920 2403979904200 QT15?Q CK?1 95,646,769,289,470 122,131,734,269,895 2,594,019,369,550 3,245,372,870,670 nQ 63 54 16