信息与编码信息与编码 9-4

东北电力大学 教 案 封 皮 开课单位 授课教师 选用教材 课次 理学院信息与计算教研室 常志文 信息论与编码理论（沈世镒） 9 课程名称 授课对象 总学时 第 4 章 信息与编码 信息与计算专业121 60（含课内实验10学时） 第 1~3 节信道编码定理、离散无记忆信道及容量 教学目的 及要求 教学目的及要求： 要求学生掌握信道矩阵及意义； 掌握无记忆信道特性； 掌握信道容量的定义。 教学重点： 信道矩阵与信道容量； 处理安排： 结合编码误差与离散无记忆信道的特点来说明。 教学难点： 由信矩阵求信道误差，以及信道容量； 处理安排： 先对公式深入理解，再结合实例加以说明。 教学重点处理安排 教学难点处理安排 教学方式、 方式（手段）：多媒体； 方法 方法：讲授法。 教学 内容 及时 间分 配 例题、练习题 作业、思考题 第一节课： 4.1 信道编码定理;------------------------25分钟 4.2 离散无记忆信道；-------------------20分钟 第二节课： 4.3 无记忆信道的信道容量。-----------45分钟 例题：通过例题说明由信道矩阵与信道容量关系。 作业：P106页 4.1 4.1题 教 案

内 容 第4章 4.1 信道编码问题 4.1.1 通信系统编码误差 我们称 信道编码定理 备 注 注意：信道误差的计算方法。 ~~e(f,g)?Pr{???} (4.1.1) 为通信系统e(f,g)所产生的编码误差. 例4.1.1 一个简单的通信系统给定如下,取四元信源与信道.这时取它们的信源分布 p(0)?p(1)?p(2)?p(3)?0.25, 信道的转移概率矩阵p(vu)为 0 1 2 3 0 0.64 0.16 0.16 0.04 1 0.16 0.04 0.64 0.16 2 0.16 0.04 0.64 0.16 3 0.04 0.16 0.16 0.64 如果我们取编码(f,g)为 f(x)?x,g(v)?v,x,v?0,1,2,3, 这时 的联合概率分布为 ?1?p(vu),x?u,v?y, p(x,u,v,y)??4 ?0,否则。?那第它的误差概率为 ~~}?0.16?0.16?0.04?0.36. e(f,g)?Pr{??? 4.1.2 信道序列的编码问题 定义4.1.1 称R为信道序列的一个可达速率,如果存在一列正数En?0 、一个信源序列Pn,与一列编码函数(fn ,gn) ,满足条件: (1) 对任何n?1,2,3,???,Mn?2nR(1??n). (2) 通信系统的误差概率为 ~~(n)}??. e(f(n),g(n))?Pr{?(n)??n定义4.1.2 对已给的信道序列Pn,它的全体可达速率的最大值或上确界,被称为该信道序列的最大可达速率. 因此,信道编码问题就是对已给的信道序列 求它的最大可达速率. 4.2 离散无记忆信道 4.2.1 离散无记忆信道的一般定义 离散信道的含义是:输入和输出字母表都是有限的,无记忆则是指当输入字母ui固定时,它的接收信号字母vi的概率与以前、以后的输入、输出信号无关. 离散无记忆信道如图4.2.1所示. 图4.2.1 典型的离散无记忆信道 4.2.2 几种特殊的离散无记忆信道 例4.2.1 二元对称信道是一个典型的离散无记忆信道,如图4.2.2所示,其输入和输出字母表都是{0,1},信道概率分布为 p(01)?p(10)?p,p(00)?p(11)?1?p. 图4.2.2 二元对称信道 称p为交叉概率误差. 例4.2.2 图4.2.3所示的信道称为二元擦除信道,输出*表示输入的丢失或擦除.二元擦除信道的一个特例如图4.2.4所示,称之为M信道,这个名字来源于它的图,因其类似于字母M. 图4.2.3 二元擦除信道 图4.2.4 M信道 定义4.2.1 (1) 如果输入?完全由输出?所决定,称一个信道是无丢失的 (2) 如果输出?完全由输入?所决定,称这个信道是决定的 (3) 如果它既是无丢失的又是决定的,称这个信道是无噪声的. (4) 如果输入随机变量?的知识不能告诉我们任何关于输出?的知识,称这个信道是无用的. 定理4.2.1 关于无丢失信道、决定信道、无噪声信道与无用信道有以下等价性成立. (1) 对无丢失信道,与以下条件之一相互等价: ①存在输出字母表的非空不交子集B1,?,Ba,对任何i?1,2,?,a,满足p(Biui)?1,其中p(Bx)??p(vu). v?B②对所有的入口分布,只要q(vi)?0,则必存在一个ui使得q(uivi)?1,其中q(uv)?p(u)p(vu)q(v) 离散信道实例 通过实例说明不同特殊信道。 特殊信道间的关系。 ③对所有的入口分布,知道?时?的不确定性为0,即H(??)?0. (2)一个决定信道与以下条件之一相互等价. ①对所有的u,都有一个v使得p(vu)?1. ②对所有的入口分布,?关于?的不确定性为0,即H(??)?0. (3) 一个信道是无噪声的充分与必要条件是,存在一个从输入字母表 的到输出字母表 的一个1-1映射?,使得p(?(u)u)?1对所有u都成立. (4)无用信道与下列条件之一等价: ①信道矩阵的行是一样的,也就是p(vu)与u无关. ②对所有的入口分布,我们有H(??)?H(?). ③对所有的入口分布,输入?与输出?是独立的. 定义4.2.2 (1)如果信道矩阵的每一行是另一行的置换,也就是各行所包含的数集 相同(出现的数相同,且每个数出现的次数相同),称一个信道是行对称的. (2)如果信道矩阵的每一列是另一列的置换,一个信道是列对称的. (3)如果一个信道既是行对称的,也是列对称的,那么这个信道是对称的. 例如,具有下面矩阵 ?13131616? ??16161313?? ?? 的信道是对称的. 定理4.2.2 对于行对称信道,知道?时?的不确定性与?的分布无关,即 H(??)与入口分布无关.事实上,对任意i?1,2,?,a,我们有 b 1 H(??)??p(vjui)log. 结合实例说j?1p(vjui)明 换一种说法,如果给定?时输出?的分布并不依赖于所使用的入口分布,称这 个信道是行对称的. 定理4.2.3 对于列对称信道,任何入口分布都产生同一出口分布. 4．3无忆信道的信道容量 4.3.1道容量的一般定义 定义4.3.1 如果X是一个固定的信道,那么它的信道容量就是对X中入口 分布所确定的互信息I(?;?)的最大值.记为C 例1二元对称信道的信道容量为C?1?H(p). 定理4.3.1 (1)无丢失信道的容量是loga,其中a是输入字母表的大小。 (2) 决定信道的容量是C=logb.，b为满足{vj;存在某个xi,使q(vjui)?1成立} 的元素个数. (3) 无噪声信道的容量是loga,其中a是输入字母表的大小 (4) 无用信道的容量是0. 对于对称信道,我们有如下结果. b1定理4.3.2 对称信道的容量是C?logb??p(vjui)log 结合实例说j?1p(vjui)明定理432 1对任意i?1,2,?,a都成立,而且它的最大入口分布为均匀分布p(ui)?. a 4.3.2无记忆信道序列的容量性质 定义4.3.2 设Xn是任一有限集合X上的n维乘积空间,如果p(z)是X n(n)(n)p(zi) 上的一个概率分布,如果p(z)? ?i?1那么称概率分布p(n)(z(n))为由p(z)确定的无记忆概率分布. 定理4.3.3 如果Xn是由X决定的无记忆信道,它们的信道容量分别为 Cn与C ,那么必有Cn=nC 成立..