信息论考试试题集

1、 自信息量的公式为 （ I(ai)??log2p(ai) ）。

2、 连续信源输出信号的峰值功率受限时，（ 均匀）分布的熵最大；连续信源输出信号的平

均功率受限时，（ 正态 ）分布的熵最大。 3、当X和Y相互独立时，互信息为（ 0 ）。 A、 1 B、 0 C、某一个正数 4、信源为X，信宿为Y，条件熵H（X|Y）称为（ 信道损失熵 ）。

5、信道编码定理：对于一个离散无记忆信道，若其信道容量为C，输入信源符号长度为L，当信息传输速率（ R〈 C ）时，总可以找到一种编码方法， 当L足够长时，译码的错误概率为任意小正数。

1． 已知X，Y∈{0，1}，XY构成的联合概率为：P（00）=P（11）=

=

1，P（01）=P（10）83，( log23?1.585 ), 计算： 8（1） 熵H（X），H（Y）； （2） 条件熵H（X/Y），H（Y/X）； （3） 互信息I（X；Y）。

解：1) p(x=0)=p(x=1)=p(y=0)=p(y=1)=0.5 H(X)=H(Y)=1(6分) 2) H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y) (6分) H(XY)=-2(log218133?log2)=1.8113 H(Y|X)= H(X|Y)= 1.8113-1=0.8113(8分) 888 3) I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)=2-1.8113=0.1887 (5分 2. 求下列信道的信道容量和最佳分布。( log23?1.585 )

P(Y/X)??1?2??1?6?1??3?,13,,12,,16,??6?1?3??1??2?1

111 }(6分)

333111 信道容量：C=log2s?H(p1,p2,...,ps)?log24?H(,,)?0.5409(9分)

23651. 某连续信道的带宽为8 kHz，信噪比为3∶1，现在要以R=10比特/秒以速度传输信息，

该信道为对称信道，最佳分布是等概率分布p(X)={ ,,能否实现？ 如果要实现信息传输，信噪比的最小值为多少？ (212.5= 5792.6) 解： 香农定理： 2．

C?W*log2(1?SNR)5?8000*log2(1?3)?16000?R?105 C?8000*log2(1?SNR)?R?10 SNR最小值为5791.6(2分)

(8分) 这时通信传输不能实现。

投掷一个正常的硬币直到正面出现为止，令变量X表示投掷次数。

求：1列出随机变量X的概率分布；计算熵H(X)。

.,,...??1,2,..n?X??? 2） H（X）=2(10分) 1） ??111?,.?..?p(X)??,2,...,n2?22?1条件自信息量的公式为（ I(bj|ai)??log2p(bj|ai) ）。

2离散无记忆信源输出n个不同的消息符号，当信源呈等概率分布情况下，信源熵取最大值，且为H（X）=（ log2n ）。

3、平均互信息I（X；Y）是输入信源概率分布{p(ai),i=1,2,…,n}的（ C ）。 A、非凸函数 B、下凸函数 C、上凸函数 4、I（X；Y）=H（X）+H（Y）-H（XY），说明信道两端随机变量X和Y之间的平均互信息量等于通信前、后整个系统不确定度（ A减小 ）的量。 5、当（ B ）条件，传递最大互信息称之为信道容量。 A、 固定信源特性，改变信道特性 B、 改变信源特性，固定信道特性

C、 信源特性和信道特性都变化

一、已知X，Y∈{0，1}，XY构成的联合概率为：

111P（00）=，P（10）=，P（01）=P（11）=，

364（ log23?1.585,log25?2.322,log27?2.807 ），计算： （1）熵H（X），H（Y）； （2）联合熵H（XY），条件熵H（X/Y）； （3）互信息I（X；Y）。

7511解：1) p(x=0)=，p(x=1)= ，p(y=0)= ，p(y=1)=

121222 H(X)=0.9799， H(Y)=1(6分)

2) H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y) (4分) H(XY)=-(log213111?log2?1)=1.9591 H(X|Y)= 1.9591-1=0.9591(4分) 366 3) I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)=0.9799-0.9591=0.0208 (5

二、求下列信道的信道容量和最佳分布。( log23?1.585 )

11??11,,,?3366? P(Y/X)???

1111??,,,?363??6?11该信道为对称信道，最佳分布是等概率分布p(X)={ , }(6分)

22 信道容量：

C?log2r?H(p1,p2,...,ps)??Nklog2Mk1n1111111212?log22?H(,,,)?log2?log2?log2?0.04093366223366

4

三、设电话信号的信息率为5.6?10比特/秒，在一个噪声功率谱为

N0?5?10?6mW/Hz、限频W、限输入功率P的高斯信道中传送。

1） 若W=4kHz，问无差错传输所需的最小功率P是多少瓦？(214= 16384)

2）若W趋于无穷大时，则P是多少瓦？(ln2=0.6931)

解： 香农定理：C?W*log2(1?

P) (4分) N0W 1） N0W?5?10?6mW/Hz?4000Hz?2?10?5瓦 2) C?? R

P?R?5.6?104 (6分)

N0In2?4P最小值为1.9408?10瓦(2分)

四、一阶马尔可夫信源的状态转移图如下，信源符号集合为{0，1，2}。

求: 1) 列出一阶马尔可夫信源的状态转移矩阵； 2) 信源的平稳分布； 3) 信源熵H?。

?p,1?p,0???解： 1） P?0,p,1?p (10分) ????1?p,0,p??1113333) H???plogp?(1?p)log(1?p)(6分)

2） W?[,,](4分)