信息编码论文

青 岛 农 业 大 学

本 科 生 课 程 论 文

论 文 题 目 信息率失真函数的研究与设计

学生专业班级 信息与计算科学2010级

学生姓名（学号）

指 导 教 师 吴慧

完 成 时 间 2013/06/26

2013 年 06 月 26 日

目录

中文摘要??????????????????????????????1 Abstract??????????????????????????????1 1□信息论与编码技术的发展与简介??????????????????2 2□信息率失真函数及其性质 ?????????????????????3 2.1□失真测度 ???????????????????????????3 2.1.1□单符号失真度????????????????????????4 2.1.2□序列失真度?????????????????????????4 2.1.3□平均失真度?????????????????????????4 2.2□常见的失真函数????????????????????????5 2.2.1□汉明失真??????????????????????????5 2.2.2□平方误差失真????????????????????????5 2.2.3□绝对失真函数与相对失真函数?????????????????5 2.2.4□N次扩展信道????????????????????????6 2.3□信息率失真函数的定义及其性质???????????????6 2.3.1□信息率失真函数的定义??????????????????6 2.3.2□信息率失真函数的性质????????????????????6 3□离散无记忆信源的信息率失真函数????????????????7 3.1□等概率、对称失真信源的R?D?计算???????????????7 3.1.1□二元等概率、对称失真信源????????????????7 3.1.2□三元等概率、对称失真信源?????????????????8 3.2□离散无记忆信源的信息率失真函数的迭代算法??????????8 3.2.1□迭代算法的步骤?????????????????????9 3.2.2□四元离散信源的迭代计算??????????????????10 4□总结??????????????????????????????10参考文献?????????????????????????????11附录??????????????????????????????? 12

信息率失真函数的研究与设计

信息与计算科学专业

指导教师

摘要: 本文对信息率失真函数的计算方法展开分析讨论，并通过MATLAB数学软件实现。信息论是运用概率论与数理统计的方法进行研究的应用数学学科。随着人们不断加深对信息的认识与利用，信息科学被应用在各个方面。然而，在实际的通信中，无失真的通信是不可能的，而且也无必要，因此，本文从离散信源着手，讨论平稳无记忆信源的信息传输过程及其特性，分析在限定失真为最大允许失真D时信源的最小信息速率。本文采用带参量的迭代法求解R?D?，通过MATLAB编写程序实现信源的信息率失真函数的计算。 关键词： 率失真函数 MATLAB 迭代法 离散信源

The discussion and project of rate-distortion function

Student majoring in Informationand Computing Sciences TangYunxue

Tutor Wuhui

Abstract： This paper mainly discusses and analysises the calculation method of rate-distortion, and to solve by using mathematics software MATLAB(Matrix Laboratory).Information Theory is an Applied Mathematics which uses probability theory and mathematical statistics methods to do study.As people continue to deepen the understanding and use of information,information science is applied in many aspects.However,in actual communication,distortion-free communication is impossible,and not necessary,therefore,this paper proceed from the discrete source and source to discuss the information transfer process and feature of the stationary memoryless source, and analysis the Minimum information rate of information Source when limit distortion is the maximum allowable distortion D.In this paper,the iterative algorithm with parameters is used to calculate the R(D),the calculation of information rate distortion function of discrete source and continuous source is realized by programming.

Key words: rate-distortion function MATLAB Iterative algorithm discrete source

1

1. 信息论与编码技术的发展与简介

随着现代科学技术的飞速发展，我们对周围世界的认识和理解不断加深。

特别是20世纪60年代以来，计算机技术的迅猛发展、计算机及相关设备的迅速更新换代和个人微型计算机的普及，极大地提高了人们处理信息、存储信息、控制和管理信息的能力，人类社会进入了信息时代。作为现代科学技术基础理论之一的信息论在各个领域的应用和推广使许多经典的概念有了全新的解释，使过去不确切的描述有了精确的定量分析方法。

信息论与编码理论是在长期的通信工程实践和理论研究的基础上发展起来的。信息论从诞生至今已经历半个多世纪，目前已成为一门独立的学科。而编码理论与技术研究也有半个世纪的历史，并从刚开始时作为信息论的一个组成部分逐步发展成为比较完善的独立体系。。最早对信息进行科学定义的是哈特莱，他在1928年发表的《信息传输》一文中，首先提出“信息”这一概念。但是哈特莱的理解没有考虑各种可能选择方法的统计特性的局限，限制了其适用范围。1948年，控制论创始人之一维纳出版了《控制论——动物和机器中通信与控制问题》一书，将“信息”上升到“最基本概念”的位置。意大利学者朗格提出用差异量来测度信息，认为“信息就是差异”，这是不全面、不确切的。香农在1948年发表了著名的论文《通信的数学理论》，从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。他用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了无失真信源编码定理和有噪环境下的信道编码定理，由此奠定了现代信息论的基础。1959年香农又发表了论文“保真度准则下的离散信源编码定理”，发展成为信息率失真理论，这一理论是信源编码的核心。1961年香农的论文《双路通信信道》开拓了多用户信息论的研究。20世纪50年代初期，汉明提出了一种重要的线性分组码——汉明码。1957年普兰奇提出了循环码。1959年霍昆格姆、1960年博斯和查德胡里各自分别提出了BCH码，可纠正多个随机错误的码。1955年埃利斯提出了不同于分组码的卷积码，接着伍成克拉夫提出了卷积码的序列译码。1967年维特比提出了卷积码的最大似然译码法，该方法效率高、速度快、译码较简单。1966年福尼提出级联码概念。信源编码的研究由维纳于1942年进行了开创性的工作。1952年霍夫曼提出

2