《信息论与编码》课件1第1章.ppt

1、第第1章章 绪论绪论 第第1章章 绪论绪论 1.1 信息的定义与性质信息的定义与性质 1.2 信息论的主要研究内容信息论的主要研究内容 1.3 信道编码的研究内容与发展简史信道编码的研究内容与发展简史 1.4 信源编码的研究内容与发展简史信源编码的研究内容与发展简史 第第1章章 绪论绪论 1.1 信息的定义与性质信息的定义与性质人类在日常生活和社会活动中，一时一刻也离不开信息的交流。特别是在今天的信息社会中，人们要有效地工作、明智地行动必须拥有充分的信息。但是，究竟什么是“信息”呢？“信息”有什么属性？怎样度量？这些概念通常却是含糊不清的。自从信息论这一学科诞生以来，“信息”这一名词便在工程上

2、有了比较明确的概念，成为一个基本的技术术语。第第1章章 绪论绪论 1.1.1 信息的定义信息的定义“信息”是一个常用词，在日常生活中泛指“消息”、“信号”、“情况”、“情报”、“知识”等。例如，人们从报纸或电视新闻中得到某些消息，便说得到了信息;司机根据红绿灯信号得到车辆行驶信息，等等。随着信息的开发和利用，“信息”也逐渐显示出其巨大的威力，为人类和人类社会的进步带来明显的经济效益和社会效益。因此，在日常生活和社会活动中“信息”又被赋予各种动人的比喻。可见，通常的“信息”概念仅仅是从实用角度出发在某个侧面为“信息”建立的非常粗浅、非常模糊且具有很强主观性的概念，这些概念对于不同的人在不同的时间

3、、地点和条件下，其意义、程度有很大的差异。第第1章章 绪论绪论 因此，关于信息的这些含糊不清的概念必须进行加工、概括、提升和开拓。在我们的专业学习中，信息通常是指代表着某一个抽象的有待传送、交换、存储以及提取和识别的内容，它有严格、确切的含义，有一定的数学模式并能定量地度量。信息论的主要奠基人香农（C.E.Shannon）以通信系统为物理模型，用概率测度和数理统计的方法研究通信系统中的基本问题，并于1948年在贝尔系统技术杂志上发表了著名论文通信的数学理论，奠定了信息论的理论基础。在这篇论文中他将信息定义为“用来消除不确定性的东西”。第第1章章 绪论绪论 图1-1给出了一个一般的通信系统。在这

4、样的通信系统中，发信者（信源）发出的信息在某种物理媒介（信道）中传输并被收信者（信宿）接收。例如在由人与人的信息交流活动所构成的信息系统中，传输的是人体各种感觉器官（如眼、耳、鼻、舌等）所能感知的光、声和字符等信号;在电信系统中，消息（符号）便为不同频率、不同相位、不同强弱的电信号。因此，我们可以将这种一般的通信系统表述为传输消息（符号）的系统。第第1章章 绪论绪论 图1-1 一般的通信系统 第第1章章 绪论绪论 在图1-1所示的通信系统中，显然存在着一个能够使发信、收信双方都能理解的符号表（如某种文字、语音、图像、图形或电信号）。然而，通信过程是一个随机的、不确定的过程，即谁使用此通信系统、

5、在什么时间发出何种具体符号是不能够事先预料的，而且通信过程中不可避免的干扰也是随机出现的。这些随机性因素使得这种消息或符号的传递过程有一个最基本、最普遍却又十分不引人注意的特点，就是收信者在收到符号之前不知道发信者发出的是哪一个符号，即对于收信者而言具有一定的随机性或不确定性。第第1章章 绪论绪论 只有通过通信过程，收信者才能知道是谁向他发出符号，发出的是何种符号，消除关于发信者及其发出何种符号的不确定性。由此可知，信息的传递过程对于接收者而言是一个由不确定到确定的过程，而实现由不确定到确定的转变，所依赖的只能是接收者由通信过程所获得的信息。所以，信息确实是用来消除不确定性的东西，这也就是香农

6、信息定义的含义。第第1章章 绪论绪论 对于一次实际的通信过程，由于信道中存在着随机性的干扰，因此接收者在通信完成之后可能完全消除了关于信源的不确定性，也可能只消除了部分不确定性，甚至仍然具有同样的不确定性。根据香农信息定义，接收者由这一通信过程所获得的信息量是不同的，即可能获得了信源输出的全部信息，也可能只获得部分信息甚至是没有得到信息。度有关。只要原有的不确定性程度有所减少，接收者便由此次通信得到了一定的信息。第第1章章 绪论绪论 所以，香农信息定义一方面指明了信息与消息、信号、情况、情报的差异，即消息、信号、情况、情报只是携带着信息，是信息的载体，并不是信息本身，信息则是这个载体所携带的内

7、容。另一方面，香农信息定义指明了信息是可以度量的，即消息、信号、情况、情报所携带的信息量的大小与接收者通过通信过程消除或减少对于该事物的不确定程础。但是，该定义只是从信息的功能上对信息加以描述，只是说出了信息能够做什么，有什么用，并没有正面回答信息是什么。第第1章章 绪论绪论 关于信息的定义，学术界有多种描述，但是尚无一种适用范围广、得到普遍公认的定义形式。这说明人们对于信息的研究还没有达到完全揭示本质的程础。但是，该定义只是从信息的功能上对信息加以描述，只是说出了信息能够做什么，有什么用，并没有正面回答信息是什么。第第1章章 绪论绪论 关于信息的定义，学术界有多种描述，但是尚无一种适用范围广

8、、得到普遍公认的定义形式。这说明人们对于信息的研究还没有达到完全揭示本质的程度。但是人们在这一领域所从事的研究、所提出的各种定义仍然在一定程度或从一定的侧面触及到了信息的某些实质问题。例如，控制论的创始人维纳（N.Wiener）1948年在控制论动物和机器中的通信与控制问题一书中指出：“信息就是信息，不是物质，也不是能量”。1950年，他又在人有人的用处中提出：“信息就是人和外界互相作用的过程中相互交换的内容和名称”。维纳的定义表明，人与客观世界除了物质、能量的交换之外，还有信息的交换。第第1章章 绪论绪论 人类通过语言、文字、图像等各种手段交换信息，学习有关彼此的知识，使人类社会成为一个有机

9、的整体。由此可知，信息及其信息的交换确实也是一种客观存在。同时也应当注意到，信息的交换不仅发生在人与外界相互作用的过程中，在没有人参与的许多相互作用的过程中同样包含信息的交换。从更一般的意义上可以认为，信息反映了一切事物的存在和运动方式的描述。此时信息的定义表述为：事物运动（包括客观世界和主观世界以及人脑的思维活动）所表现出来的各种状态和方式。第第1章章 绪论绪论 在这种定义下，维纳所说的“人与外界相互交换的内容”不是别的，正是“事物运动的状态和方式”，即人从外界得到的信息是外界事物的运动状态和方式，而人给外界的信息则是人的思维运动的状态和方式，是人的意志和命令。对于香农定义中的所谓不确定性，

10、则正是对于事物运动的状态和方式所具有的不确定性，即不知道事物处于什么运动状态中，不知道事物正在以什么方式运动。要消除这种不确定性，就需要知道事物运动的状态和方式，需要得到信息。因此，信息事物运动的状态和方式，就是用来消除不确定性的东西。可见，这一定义不仅统一了多种定义的概念，而且从更一般的意义上较好地揭示了信息的本质。第第1章章 绪论绪论 近十几年来，以计算机、信息处理、网络、通信和微电子技术的发展、应用和普及为标志的信息技术得到了迅猛发展。人类已经进入信息时代，我们对于信息及其在人类的生活和社会活动中的作用有了更加明确、深刻的认识，“信息”已经成为人类在“数字化生存”中的一项基本要素，决定了

11、人在现代社会中的生存方式和生存质量。第第1章章 绪论绪论 由上面的分析我们可以归纳出以下三点：（1）信息不是物质或能量，它是自然世界和人类社会中的另一种基本要素;（2）信息具有客观存在的属性，是客观事物运动状态和方式的表征，不完全取决于人的主观认识;（3）信息又与主观认识有关，是客观事物在人脑中的反映。第第1章章 绪论绪论 在信息处理学科中，信息常表示为对数据含义的一种解释，而数据则是那些可以记录下来、反映事物运动状态和方式的符号，包括数值、曲线、图像、语音等。在信息的处理过程中，输入的是数据，处理后的输出结果仍然是数据，而信息则隐含于这些数据中，针对某种特定的目的，可由数据解释其含义。例如卫

12、星获得的地物遥感影像数据，经数字图像处理、识别与分析后，输出仍是数据。对于同一幅遥感影像数据，通过不同方法处理可以得到不同的地物目标分类，农业、矿业、军事等不同的应用部门由输出数据或影像可解译出不同的结果，获取不同的信息，如农作物面积、矿藏分布或军事设施。在我们的专业学习中，通常遇到的是这种狭义的信息概念。第第1章章 绪论绪论 1.1.2 信息的性质信息的性质信息作为客观世界的第三要素，与物质、能量相比具有一些特殊的性质。（1）信息是无形的。信息不同于物质和能量，它是客观世界中的一种看不见、摸不着、没有重量的基本要素。新闻、报纸、信号、密码等只不过是信息的载体。第第1章章 绪论绪论（2）信息是

13、可以共享的。在客观世界中，物质和能量所遵循的基本规律之一是守恒定律，即物质和能量不能创造也不能消灭，只能转换。然而，信息不受守恒定律的制约，没有重量，易于复制，能以极快的速度传播，是一种可以共享的重要的社会资源。信息的交流不但不会使信息的持有者失去原有信息，而且可以获得新的信息。在现代社会中，飞速发展的通信手段和信息处理技术为信息资源的充分共享提供了优越的条件，同时国家之间的军事对抗、商业活动中的市场争夺、多媒体数字产品的版权归属等，也对信息的安全和保密提出了更高的要求。第第1章章 绪论绪论（3）信息是无限的。客观世界的运动是永恒的。作为描述客观事物的运动状态和运动方式的信息，与客观事物及它们

14、的运动一样，也是永恒的。在组成客观世界的三大要素中，人类可以使用的物质和能量资源只能供有限的人使用，总有一天会出现短缺危机，而信息则永远在产生、更新和演变，可以多人共享使用，并且使用的人越多，其价值越高。信息已经成为人类社会中的一个取之不尽、用之不竭的知识源泉。信息的这一无限性在时空上表现为可扩展性。例如，失去了现实应用时效的历史资料可以反映社会发展变化的统计规律，先进地区的科学技术可以带动落后地区的经济发展。第第1章章 绪论绪论（4）信息是可开发的。信息的开发是指信息的表示、存储、传输、处理和利用。显然，信息的开发和利用历来是客观世界发展、人类文明史进化的一个基本条件。在信息社会的今天，信息

15、技术产业已成为推动社会进步，拉动经济、科技、教育等各个领域发展的重要部分。第第1章章 绪论绪论（5）信息是可度量的。信息反映事物的运动状态和方式。通过研究客观世界所遵循的自然规律，人类将不断地认识和掌握事物变化、发展的客观规律，并且找出适当的方法描述事物的运动状态和方式，于是反映客观事物的运动状态和方式的信息也可以按某种方式加以度量。例如，在香农的信息定义中，信息量与事件发生的不确定程度及信源发出符号的随机性有关，信息是关于事件随机性的一种描述。因此，我们可以用概率统计的方法来度量信息。第第1章章 绪论绪论 设发信者发出的符号ai出现的概率为P(ai)。P(ai)愈小，则ai的随机性即不确定性

16、愈大，ai含有的信息量也就愈大。由此可知，ai具有的信息量应当与ai发生的概率成反比，即（1.1）1()loglog()()iiiI aP aP a 第第1章章 绪论绪论 在通信的过程中，信道中不可避免地存在着随机性的干扰。于是，在接收端收到符号bj时，发信者发出符号为ai的可能性可以用条件概率P(ai|bj)来表示,那么在接收到符号bj后对发信者发出的符号是否是ai仍然存在的不确定性便成为1loglog(|)(|)ijijP a bP a b 第第1章章 绪论绪论 于是，通过信息的传递，接收者对于事件ai的不确定性改变了，表明通过这样的信息传输系统我们由bj得到了关于ai的信息。显然,由这一

17、通信过程所获得的信息量的大小应当与关于事件ai的不确定性的改变量有关。于是，通过信息传输，接收者由bj得到的关于ai的信息量可以表示为第第1章章 绪论绪论 可见，香农给出的信息度量确实是一种对通信过程中所消除的不确定性的度量。(|)11(;)logloglog()(|)()ijijiijiP abI a bP aP abP a第第1章章 绪论绪论 1.2 信息论的主要研究内容信息论的主要研究内容由上面的讨论我们知道，信息论的研究对象是传输消息（符号）的系统。由于这些消息载荷着信息，因此这种消息传输系统即为信息传输系统，通常简称为通信系统。信息论的创始人香农以狭义的通信系统为物理模型，研究信息的

18、定量描述方法和编码理论，分析通信系统中的有效性和可靠性问题，奠定了信息论的理论体系。随着科学技术的发展，信息论的研究范围、应用领域和指导意义已远远超出了原来的范围，成为研究广义信息系统中一般规律的工程学科，它的主要目的是提高信息系统的可靠性和有效性，实现系统的最优化。第第1章章 绪论绪论 客观世界中存在着各种各样的信息传输、存储和处理系统，如电报、电话、雷达、遥感、计算机系统等工程意义上的各类狭义的通信系统，以及人类社会的管理系统、生物有机体的神经系统、生物遗传系统等。这些系统的形式、用途各不相同，但从信息传输的角度分析，在本质上它们有许多共同之处，即在这些系统中都有信息的发送者和接收者，都存

19、在着信息的传递、交换和处理。对于这些互不相同的信息系统，我们可抽象为一个广义的通信系统来描述，并概括为图1-2所示的模型。第第1章章 绪论绪论 图1-2 通信系统模型 第第1章章 绪论绪论 广义的通信系统模型主要由信源、编码器、信道、译码器和信宿五个部分组成。利用这样的模型我们可以分析、探讨通信系统在传输消息的过程中的一般规律。(1)信源：发出信息的客观事物，可以是人，也可以是某种设备或物体。由于消息是信息的载体，因此信源的输出是消息或消息序列，如电信号、文字、图像、语音等。消息或消息序列可以是连续的，也可以是离散的。由前面的讨论我们已经知道，信息的基本属性之一是随机性，因此信源输出的消息、消

20、息序列需要用随机过程加以描述。信源研究的主要问题是其统计模型（统计特性描述）及信源所具有的信息量的定量表示。第第1章章 绪论绪论（2）信道：传输信号的物理媒介或通道。在狭义的通信系统中，实际信道有明线、电缆、波导、光纤、无线电传播空间等。广义的通信系统的信道多种多样。除了传输信号，信道还具有存储信号的作用，如书信在邮递过程中不仅执行信息的传递任务，同时也起到了信号的存储作用。再如，计算机中的硬盘、移动存储设备不仅可以保存数据或文件，存储的数据、文件也可以与其他计算机进行交流，实现信息的传递和共享。信道研究的主要问题是它能传输、存储多少信息，即它的信道容量有多大。第第1章章 绪论绪论（3）编码器

21、：将信源输出的消息或消息序列转换成适合通信系统要求的信号的设备。不同的通信系统中允许的消息或消息序列的表示形式可能不同。例如，面对面的交谈需将要表达的内容通过发声器官转换成听觉器官能够接收的声波，并在允许声波传播的空间中传输;使用邮政通信需将要传递的消息转换成文字并构成规范化的书信;电报通信则需将文字转换成由点、画构成的莫尔斯码;语音、图像、视频等数字媒体文件需使用二进制符号表示并按照一定的格式进行处理与存储。第第1章章 绪论绪论 因此，对于任何通信系统而言，信源输出的信息都必须通过编码实现从消息到信号、数据的转换，才能够通过某种信道进行传输、存储和处理。由消息到信号、数据的转换一般要经过信源

22、编码器和信道编码器。对于狭义通信系统，编码器还包括调制等各种处理。编码器研究的主要问题是如何进行信源编码，使信源的消息被充分利用并可靠地通信。第第1章章 绪论绪论（4）译码器：编码器的逆过程，它将信号转变为消息。与编码器相对应，译码器分为信道译码器和信源译码器。对于狭义的通信系统，还包括信号的接收与解调。（5）信宿：消息的接收者，即接收消息的人或设备。第第1章章 绪论绪论（6）噪声源：信号在信道传播的过程中常常会受到噪声的干扰。噪声可分为系统内噪声和系统外噪声，如雷电、宇宙辐射、设备自身的电子噪声和人为电子干扰等。在广义通信系统模型中，这些干扰和噪声都等效地折合为信道干扰，可看做是由一个噪声源

23、产生并作用于在信道中传输的信号。在通信系统中，噪声是影响可靠通信的主要原因之一，可通过各种信道编码技术提高系统的抗干扰能力。第第1章章 绪论绪论 通过对广义通信系统模型的分析可以看出，通信的基本目的是在接收端（信宿）准确地或近似地再现从另一端（信源）选择出来的消息，因而通信系统的基本问题是信源、信道及编码问题，信息论的基本任务则是为设计有效而且可靠的信息系统提供理论依据。本教材主要涉及狭义的通信系统，即讨论香农的信息理论，在深入分析香农信息论的基本概念和编码定理的基础上，研究提高信息系统有效性的理论与工程手段，即讨论信源编码原理和数据压缩的一般方法。第第1章章 绪论绪论 1.3 信道编码的研究

24、内容与发展简史信道编码的研究内容与发展简史信道编码是20世纪40年代末提出、60年代发展起来的一门提高数据传输可靠性的理论与技术，至今已有60余年的历史。随着数字通信的发展，特别是20世纪70年代以来，卫星通信和高速数据网的飞速发展，对数据传输的可靠性提出了越来越高的要求，因此，如何提高数据传输的可靠性一直是通信发展过程中研究的重点之一。第第1章章 绪论绪论 自从1948年Shannon发表了A Mathematical Theory of Communication这篇论文后，就开创了两个现代研究领域信息论和编码理论。他最杰出的贡献就是引入了概率论来分析和研究通信系统。在信道编码领域，他给出

25、了“信息”的一个非常有用的定义，以及几个“信道编码定理”，描述了给定通信系统可靠传输的精确上界（称为信道容量）。第第1章章 绪论绪论 在这篇论文中，最令人感兴趣的结果是“noisy channel coding theorem for continuous channels with average power limitations”，这个定理采用带限加性高斯白噪声信道模型，这个信道模型可以近似描述许多实际的数字通信和存储系统。定理的证明表明，对于任何小于等于信道容量的传输速率，存在一个编码方案，可以达到任意小的错误概率;相反地，如果传输速率大于信道容量，则不存在任何编码方案可以达到可靠的性

26、能。然而，这是一个存在性定理，对于如何寻找合适的编码方案，实现起来多么复杂，该定理并没有给出任何指导。第第1章章 绪论绪论 从1950年Hamming的工作开始，许多通信工程师和编码理论家已经开发了很多种不同的复杂度合理的方法，试图接近Shannon所预期的性能。在这里，我们将沿着过去60余年编码在通信和存储系统中的应用历程来看一下在缩小实际系统和信道容量之间的距离上已经取得的巨大进步。第第1章章 绪论绪论 在Shannon定义了可靠通信的理论极限的同时，Hamming 和Golay正在着手开发第一个可实现的差错控制方案，他们的工作开辟了一个欣欣向荣的应用数学的分支编码理论。通常认为Richa

27、rd Hamming是发现第一个差错控制码的人。第第1章章 绪论绪论 在1946年，Hamming在Bell实验室工作，从事弹性理论的研究，然而，他最终在计算机上花费了大量的精力。那时候，计算机的运行非常不稳定，虽然具备了检错能力，但是当发现错误的时候，程序只能中断执行。那时Hamming的程序很少不中断地从头到尾执行，他尝试了很多方法对输入进行编码，最终使得计算机能够纠正单个错误进而能连续运行。他的编码方法是在每4比特信息位后面插入3比特校验位，校验位是由信息比特线性组合得到的，被后人称做Hamming码（汉明码）。第第1章章 绪论绪论 虽然Hamming码取得了很大的进步，但也存在很多缺点

28、：一是传输效率不高，二是在每个数据块中只能纠正一个错误。Marcel Golay指出了这些问题并将Hamming的工作进行了推广，这就是著名的Golay码。Golay码将数据中每12个比特组成一个数据块，然后插入11个比特的校验位，组成长度为23比特的码字，可以纠正3个比特错误。这类码字的一个共同特点是在每k个信息比特之后插入r个校验比特组成n个比特的码字，这就是众所周知的分组码。在引入信道编码的这60余年当中，已经找到了很多性能优良的分组码，并得到了大量的应用，比如Golay码就曾被应用到木星探测中。当然，现在它早已经被很多性能更好的编码方式代替了。第第1章章 绪论绪论 1957年Prang

29、e提出了循环码的概念。这种码字可以用多项式来描述，有很严谨的数学结构。它有一个很大的优点是每个码字循环移位后仍然是一个码字，可以利用这种循环移位特性来降低编码器和译码器的复杂度，尤其是译码，采用一种Meggitt译码器的结构可以非常有效地对纠错能力较小的循环码进行译码，但是译码复杂度随着纠错能力的提高指数增加。第第1章章 绪论绪论 循环码的一个很重要的子类是1959年Hocquenghem以及1960年Bose和RayChaudhuri组成的研究小组发现的，这就是著名的BCH码。Reed和Solomon还在多进制上构造出BCH码，后人称之为RS码。RS码的出现是编码历史上一个很重要的进步，因为

30、它可以纠正突发错误。但是直到1967年Berlekamp才提出了一个有效的译码算法，RS码才逐步得到广泛应用，如CD、DVD。第第1章章 绪论绪论 虽然分组码得到了成功的应用，但是在使用过程中它也有几个缺点：第一，由于分组码是分帧的，因此在译码之前必须要接收到整个码字才可以进行，这会对系统引入一个不可接收的延迟，尤其是对于码长较长的分组码;第二，分组码需要精确的帧同步;第三，大部分基于代数的译码器输入的是硬判决比特，而不是解调器输出的没有量化的“软”值。如果分组码使用硬判决比特，则信道被假定为二进制信道;如果是软判决比特，则信道的输出是连续取值的。然而，为了达到Shannon预测的性能限，需要

31、采用连续取值的信道输出。因此，虽然在相对较好的信道上分组码可以取得卓越的性能，但是当信噪比较低时，它具有相当差的性能。第第1章章 绪论绪论 注意，在低信噪比的情况下，分组码较差的性能并不是码本身的特性，而是由于硬判决译码具有次最优特性，因此分组码也可以用软判决来译码。但在不久以前，人们还认为软判决译码太复杂，目前这种想法正在发生改变，主要是因为最近几年的一些研究工作，如RS码的纠错纠删译码算法和1998年S.Lin等人提出的基于网格软判决译码算法。第第1章章 绪论绪论 1955年，Elias提出了卷积码的概念。卷积码可以克服分组码的缺点，卷积编码器采用移位寄存器对连续的比特流增加冗余。第一个有

32、价值的译码算法是1961年Wozencraft 和 Reiffen提出的序列译码算法。之后，1963年Fano和1969年Jelinek分别对其做了改进。虽然Fano和Jelinek的工作对译码算法进行了改进，但是直到1967年引入了Viterbi算法以后，最佳的译码方案（在最大似然的意义上）才可实际操作。卷积码最致命的弱点是对突发错误非常敏感。第第1章章 绪论绪论 卷积码抗突发错误能力较差的问题可以通过交织器来减轻。通过打乱发送端的比特的顺序，并在接收端恢复比特的顺序，突发错误可以被展开，对译码器来说，就可以看成随机错误。这种串行级联的形式是David Forney于1966年首先提出来的，

33、并用于NASA和ESA在1987年制定的深空网络标准中。在这个标准中(q=8，n=255，k=223，t=16)RS码同Odenwalder卷积码级联使用。第第1章章 绪论绪论 1993年7月在Geneva Switzerland召开的International Conference on Communications(ICC)会议上，实际编码系统与Shannon理论极限之间的距离更加接近了。在这次会议上，有两篇论文讨论了一种新的编码方式和相关的译码技术，作者Berrou、Glavieux和Thitimajshima造了个新词“Turbo Codes”来描述这类新的码字，他们的这个发现产生了很

34、大的影响，并获得了很高赞誉。第第1章章 绪论绪论 低密度奇偶校验码(Low Density Parity Check Codes，LDPC码)是一种可以用非常稀疏的校验矩阵来定义的线性分组纠错码。Gallager于1960年在其博士论文中首次提出LDPC码，并证明了它的距离特性。LDPC码具有性能接近香农极限，误码率极小，抗干扰能力强等特点。但是LDPC码的运算复杂度较大，在接下来的时间里就逐渐被人们淡忘了。第第1章章 绪论绪论 D.J.C.MacKay、M.Neal和N.Wiberg等人对Gallager早在20世纪60年代初就提出的LDPC码重新进行了研究，发现LDPC码同样具有逼近香农极

35、限的性能，而且复杂度更低。于是越来越多的学者开始关注并研究LDPC码。LDPC码的优异性能及其在信息可靠传输中的良好应用前景（如第4代移动通信系统、高速与甚高速数字用户线、磁记录系统等），已引起各国学术界和IT界的广泛关注。LDPC码将取代Turbo码的趋势已很明显，研究LDPC码将具有很大的学术价值及工程应用与商业价值。第第1章章 绪论绪论 1.4 信源编码的研究内容与发展简史信源编码的研究内容与发展简史将信源输出的消息或消息序列转换成电子信息系统和通信系统要求的码字的过程称为信源编码。为了提高系统的有效性，信源编码的主要目的是选出一组适当的码字，使表示信源输出消息和消息序列的码率最低。这种

36、以压缩数码率、提高系统有效性为目的的技术手段亦称做数据压缩。第第1章章 绪论绪论 1.4.1 数据压缩的必要性数据压缩的必要性随着大规模集成电路（微电子技术）与计算机技术的飞速发展和广泛应用，将各类模拟的连续信号转换为数字信号并实现数字信号的存储、传输和处理日益显示出其巨大的优越性。将模拟信号转换成为数字信号并构成数字信息系统，其突出优点是抗干扰能力强，宜于再生与存储，宜于误码保护与加密，宜于多路复用、分组与组合，并可应用现代计算技术与手段进行信息的提取、滤波、分类、识别等信息处理。第第1章章 绪论绪论 在当今的信息时代，各种信源信息的存储与传输业务与日俱增。文件和图形的传真、电视电话、会议电

37、视、数字电视、高清电视、视听图文数据库系统等静止图像、语音数据存储与传输的研究和应用已有突飞猛进的发展。以图像、图形、语音信息的存储、传输为代表的数字信息系统的发展和应用必将给人们的日常生活乃至人类社会的进步带来巨大的变革，在政治、军事、经济、教育等各个领域中发挥重要作用。第第1章章 绪论绪论 然而，数字的信息系统也有其明显的缺点，即模拟信号转换成数字信号后，数据量大，占用频带宽。例如，数字电话系统的通频带宽通常为模拟电话带宽的8倍，常规电视图像数据的传输速率达165 Mb/s。各类数字信息系统的应用（特别是图像信息的通信与存储）将使其数据量大的缺点更为突出。第第1章章 绪论绪论 虽然卫星通信

38、、光纤通信等现代通信手段使得通信频带成倍拓宽，激光存储设备为海量数据存储提供了更加充分的硬件环境，但是，人类社会对于各种媒体信息的存储、传输和利用的需求仍然超过、甚至远远超过存储设备的容量和通信系统的传输能力。因此，通过信源编码在无失真或满足某种失真要求的条件下，降低数码率的数据压缩处理已成为现代通信系统和数字信息系统的关键技术课题之一。第第1章章 绪论绪论 1.4.2 数据压缩的可能性和基本方法数据压缩的可能性和基本方法作为信息传输系统中一般规律的基础理论学科，香农信息论在提高系统有效性方面进行了深入的理论分析，除了应用数理统计方法对各类信源进行描述、分类及定量地计算输出信息量之外，针对信源

39、输出中含有不包含信息的多余成分的现象，从信源符号的概率分布和信源符号序列中各分量的相关性出发，研究信源输出信息的能力并定义了信源的信息冗余度，深入分析了信息系统中信息传输率和失真的关系并构成了信息率失真理论。第第1章章 绪论绪论 在这些理论的基础上，香农第一编码定理和香农第三编码定理分别指出了无失真信源编码和限失真信源编码的最优码的存在性以及最小信息传输率的理论极限。香农信息论中的这些讨论为信源编码原理和应用技术的研究奠定了重要的理论基础。依据香农信息论中的这些理论，去除信源输出中的冗余数据即可实现无失真的数据压缩。若进一步根据人的生理特性和心理特性，在信息系统中引入一定限度内的失真，即丢弃包

40、含信息量少的次要成分，保留信息量丰富的主要成分，则可实现限失真条件下的高效信源数据压缩，大大提高信息系统的有效性。第第1章章 绪论绪论 由此可知，信源编码原理包括无失真信源编码和限失真信源编码两种类型，相应地数据压缩应用技术也可以分为无失真数据压缩（如传真通信系统）和限失真数据压缩（如图像、语音系统）。对于多数信息系统，由于人的心理特性和生理特性的影响，一定限度内的失真对于接收者而言或者并无觉察，或者认为是可以接受的，而这种少量的失真却可以换取明显的数据压缩效果。因此数据压缩研究的重点是在信息率失真理论指导下的限失真编码方法。第第1章章 绪论绪论 1.4.3 信源编码研究的发展简史与现状信源编

41、码研究的发展简史与现状从工程意义上讲，通过信源编码进行数据压缩并不是新的课题。自从电信系统出现后，以提高系统有效性为目的的编码技术就开始了研究与应用。例如，作为早期数据压缩技术应用的成功范例，1832年电报系统中的莫尔斯(Morse)码提高了电报通信的速度。20世纪20年代，将图像编码用于伦敦和纽约之间的海底电缆传输系统，使横跨大西洋传递一幅新闻图片所需的时间由一个多星期减少到小于三个小时。1939年达德利(H.Dudley)发明声码器，使数字语音能在频带非常窄的电话信道内传输。这些早期数据压缩技术的研究和应用不仅提高了通信系统的有效性，而且为信息理论的诞生与发展提供了实践依据和理论研究基础。

42、第第1章章 绪论绪论 自20世纪40年代末开始，以香农信息论为理论指导、以计算机为主要处理工具的信源编码理论与技术得到了系统的研究和广泛的应用。20世纪60年代到70年代，预测编码和正交变换编码理论迅速形成并快速发展，在数字语音和数字图像信号的频带压缩传输方面做了大量模拟试验。1969年，Milliard等人首先研制带宽约1 MHz的电视电话DPCM编译码机，并进行了数百公里的传输实验（6.3012 Mb/s），同年Mounts进行了电视电话帧间编码的计算机模拟。第第1章章 绪论绪论 20世纪70年代末，利用动态估值进行运动补偿的活动图像编码研究非常活跃，随后方块截尾编码和矢量量化等方法取得了

43、一定发展。在这一阶段的应用技术开发除了语音和静止图像外，还包括电视电话、会议电视和常规电视。近30年来，随着大规模集成电路和现代通信技术、互联网技术的进步，信源编码的研究与应用又有了突飞猛进的发展。集信源编码四五十年的研究精华，国际标准化组织制定了一系列编码标准建议。第第1章章 绪论绪论 1983年提出了32 kb/s长途电话质量的语音DPCM标准的编码系统;1988年基本确定了电视电话会议电视CCITT H.261建议和静止图像压缩的JPEG建议，稍后又提出了活动图像压缩的MPEG-2、MPEG-4标准。在专用芯片的研制方面，1983年设计出ADM语言压缩器和LPC语言压缩器，并且运用于轻便

44、电话和移动通信系统。目前已有多种可实现图像、视频数据压缩的专用芯片以及压缩视频和音频信号的多媒体处理器。第第1章章 绪论绪论 在经典编码方法成功应用于各编码系统的国际标准的同时，新的方法、新的理论也不断涌现。子带编码、塔形编码及小波变换编码利用一维或二维数字滤波进行分解与合成，实现了语音和图像的多分辨率编码。作为现代编码技术的模型，分形法和神经网络编码成为图像编码的研究热点，它们的显著特点是突破了经典信源编码的理论框架，在压缩比、图像、语音的主观质量上带来了显著的改进。第第1章章 绪论绪论 信源编码研究的历史和现状表明，高效、高保真数据压缩的信源编码是当代信息科学和工程领域中十分活跃的一个分支，在这一领域中有大量的理论课题和实用装备需要研究和开发。信源编码这一“不十分起眼”的“小学科”对当今“信息化社会”的进步将发挥重要的作用，做出其应有的贡献。