2015秋 信息论 第3章离散信道与平均互信息量 - 图文

37

–极值性

I(X;Y)?H(X)I(Y;X)?H(Y)38

–凸函数性

I(X;Y)?H(X)?H(X|Y)?H(Y)?H(Y|X)?I(Y;X)p(y/x)???p(xy)logp(y)YX???p(x)p(y/x)logYXp(y/x)?p(x)p(y/x)XI(X ; Y)是信源分布p(x)和信道传递概率p(y|x)的函数。

39

对于固定的信道，平均互信息I(X ; Y)是信源概率分布p(x)的上凸函数。

对于固定的信源分布，I(X ; Y)是信道传递概率p(y|x)的下凸函数。

I(X;Y)???p(x)p(y/x)logYXp(y/x)?p(x)p(y/x)X引理2.2若

n?pi?1ni?1,?qi?1,pi?0,qi?0,i?1npi?0则?pilogqii?1等号成立的充分必

要条件是pi?qi40