Ch2例题与证明六

[例4]令X为掷钱币直至其正面第一次朝上所需的次数，求H(X)

P(X=n) = H(X) =

(1)n?1?11n22 = (2)

???1(1)n?1log(1)n = n?1222?n(1n2) = 2 bit

[例5]一个无记忆信源有四种符号0，1，2，

3111p(0)?,p(1)?,p(2)?,p(3)?3。已知试求8448。

由6000个符号构成的消息所含的信息量。

解：先计算一个符号所含的平均自信息量，即信源熵H

p(i)logP(i) =1.9056bit H=??i?03无记忆信源由6000个符号构成的符号序列消息H(X6000)?6000H(X)?11434bit

[例6]发出二重符号序列消息的信源熵为H(X2),而一阶马尔可夫信源的信源熵为H(XX),试比较这两者的大小，并说明原因。

解：根据公式H(XY)?H(X)?H(YX)，当Y和X

2H(XX)?H(X)?H(X)?H(XX)，为同一集合时，有

各种熵和条件熵均为非负值，当且仅当X中只含有一个确定性事件时才出现H（X）=0。当X中含有二个或二个以上事件时，有H（X）2＞0，及H（X）＞0，H（X|X）＞0，因为H2（X）＞0所以H（X）＞H（X|X）

说明，在一般情况下，发二重符号序列的信

2源的信源熵H（X）大于一阶马尔可夫过程的信源熵H（X|X）

2p(xx)?[例7]有一个马尔可夫信源，已知113，

p(x1x2)?1，p(x2x2)?0，试画出该p(x2x1)?13，

信源的概率转移图，并求出信源熵。

解：该信源的概率转移图为：

1/3 ○ ○

2/3 (x1) 1 (x2)

在计算信源熵之前，先用转移概率求稳定状态下二个状态x1和 x2 的概率p(x1)和p(x2) 立方程：p(x1)?p(x1x1)p(x1)+p(x1x2)p(x2)

=p(x1)?p(x2)

23 p(x2)?p(x2x1)p(x1)+p(x2x1)p(x1)

1 =3p(x1)?0p(x2) p(x1)?p(x2)=1

31p(x)?p(x)? 得124 4

p(xi)?p(xjxi)logp(xjxi) 马尔可夫信源熵H = ??Ij得 H=0.689bit/符号