第二章 信息的度量 - 图文

2.1.1 自信息

对于联合事件（多维随机变量）：

联合自信息量: 二维联合集XY上元素( xi yj )的自信息量定义为

1I(xiyj)?log??logp(xiyj)p(xiyj)其中，xiyj是积事件；

p(xiyj) 是二维联合概率。

条件自信息量: 若事件xi在事件yj给定条件下的概率为p(xi| yj)，则其条件自信息量定义为

1I(xi|yj)?log??logp(xi|yj)p(xi|yj)2.1.2互信息

定义：一个事件yj所给出关于另一个事件xi的信息定义为互信

息，用I(xi ;yj)表示。

defI(xi ;yj)?I(xi)?I(xi |yj)?logp(xi |yj)p(xi)含义：互信息I(xi ;yj)是已知事件yj后所消除的关于事件xi的不确定性，它等于事件xi本身的不确定性I(xi)减去已知事件yj后对xi仍然存在的不确定性I(xi|yj)。

2.1.2

理解：

信源互信息

干扰或噪声

消息信道p(xi)信宿xiI(xi)yjpxiyj??I(xi|yj)因此，已知事件yj后所消除的关于事件xi的不确定性为：

I?xi??Ixiyj??p(xi |yj)p(xi)即：

I(xi ;yj)?I(xi)?I(xi |yj)?logdef2.1.2互信息

消息信道p(xi)特例（无干扰信道）：

信源信宿=1pxiyjxiI(xi)yj??=0I(xi|yj)因此，已知事件yj后所消除的关于事件xi的不确定性为：I?xi??Ixiyj?I?xi???即：I?xi;yj??I?xi?