信息论基础教学课件ppt-信息论基础概述-信息论基础概论.ppt

1、第第1章章 绪论绪论 11.1 信息的基本概念信息的基本概念 1.1.1 信息论的产生 1.1.2 信息的基本概念1.2 香农信息论研究的内容香农信息论研究的内容 1.2.1 通信系统模型 1.2.2 香农信息论的主要内容21.3 香农信息论研究的进展与应用香农信息论研究的进展与应用 1.3.1 香农信息论创立的背景 1.3.2 香农的主要贡献 1.3.3 香农信息论研究进展 1.3.4 香农信息论的应用3信息论定义信息论定义 信息论即香农信息论，也称经典信息论信息论是研究通信系统极限性能的理论香农(Claude Edwood Shannon,19162001)41.1 1.1 信息的基本概念

2、信息的基本概念能量能量信息信息物质物质信息时代社会的发展离不开物质(材料)、能量（能源）和信息资源。美国学者欧廷格：没有物质什么都不存在，没有能量什么都不发生，没有信息什么都没意义。5按理说，关于信息的课程应该象物理、化学、生物等课程一样，是基础课。但是，由于信息的抽象性以及当前人们且对信息的认识并不完全清楚，所以在当前只能是专业课。1.1.1 1.1.1 信息论的产生信息论的产生6 1948年，美国工程师和数学家Claude Edwood Shannon(1916-2001)发表通信的数学理论,标志着信息论的产生。1.1.1 1.1.1 信息论的产生信息论的产生(A Matematical

3、Theory of Communications，Bell Sys.Tech.Journal，July and October 1948）7通信的通信的基本问题基本问题通信的三项通信的三项性能指标性能指标1.1.1 1.1.1 信息论的产生信息论的产生在一点精确地或近似地恢复另一点所选择的消息传输的有效性传输的可靠性传输的安全性8有效性有效性对于离散信源，信源符号平均码长度应尽量短；信息传输应尽量快，即高的传信率；信息传送应该有高的频谱利用率。可靠性可靠性传输差错要尽量少，对数字传输就是要求低的误码率。安全性安全性传输的信息不能泄露给未授权人。1.1.1 1.1.1 信息论的产生信息论的产生9

4、三项指标所对应的三项基本技术三项指标所对应的三项基本技术：1.1.1 1.1.1 信息论的产生信息论的产生数据压缩数据压缩数据纠错数据纠错数据加密数据加密香农建立了通信中的三项基本技术的理论基础信息论是前两项技术的理论基础。101.1.1 1.1.1 信息论的产生信息论的产生香农信息论解决了前两项技术的理论问题l提高有效性可通过信源编码来实现即信源压缩编码，并给出了压缩编码的极限l提高可靠性通过信道编码来实现并给出实现可靠传输的信息传输速率的极限11传输安全性的问题也是香农解决的。l密码学的数学理论 （A Mathematical Theory of Cryptography)l保密系统的通信

5、理论 （Communication Theory of Secrecy System）香农揭示了数据压缩和传输的基本定律，并建立了通信中的三项基本技术的理论基础。1.1.1 1.1.1 信息论的产生信息论的产生121.1.2 1.1.2 信息的基本概念信息的基本概念l信息是事物之间的差异l信息是物质与能量在时间与空间分布的不均匀性l信息是收信者事先不知道的东西通俗概念：信息是一种消息通俗概念：信息是一种消息信息论的产生引起了很多专家学者对信息研究的兴趣，他们从不同的角度和侧面研究和定义信息。例如：例如：131.1.2 1.1.2 信息的基本概念信息的基本概念信息有许多与物质、能量相同的特征，例

6、如信息可以产生、消失、携带、处理和量度。信息也有与物质、能量不同的特征，例如，信息可以共享，可以无限制地复制等。实际上，信息可以划分为两个大的层次：实际上，信息可以划分为两个大的层次：本体论层次：信息是客观的，即它是独立于人或其他有感知的事物而存在的认识论层次：信息是通过认识主体的感受而体现出来的现在我们所说的信息实际上是指认识论层次的信息。现在我们所说的信息实际上是指认识论层次的信息。信息的基本特征信息的基本特征141.1.2 1.1.2 信息的基本概念信息的基本概念1949年，Weaver在通信的数学中解释香农的工作时，把通信问题分成三个层次：第一层：通信符号如何精确传输？（技术问题）第二

7、层：传输的符号如何精确携带所需要的含义？（语义问题）第三层：所接收的含义如何以所需要的方式有效地影响行为？（效用问题）151.1.2 1.1.2 信息的基本概念信息的基本概念 广义信息的描述：信息是认识主体（人、生物、机器）所感受的和 所表达的事物运动的状态和运动状态变化的方式。以这种定义为基础，信息分成三个基本层次，即语法信息，语义信息，语用信息，分别反映事物运动状态及其变化方式的外在形式、内在含义和效用价值。与Weaver对信息的解释基本一致。16信息的三个基本层次：信息的三个基本层次：11语法语法(Syntactic)信息信息语义语义(Semantic)信息信息语用语用(Pragmati

8、c)信息信息1.1.2 1.1.2 信息的基本概念信息的基本概念171.1.2 1.1.2 信息的基本概念信息的基本概念 语法(Syntactic)信息 事物运动的状态和变化方式的外在形式，不涉及状态 的含义和效用。像语言学领域的“词与词的结合方式”，而不考虑词的含义与效用。在语言学中称为语法学。语法 信息还可细分为，概率信息、偶发信息、确定信息、模糊 信息等。181.1.2 1.1.2 信息的基本概念信息的基本概念 语义(Semantic)信息 事物运动的状态和变化方式的含义。在语言学里，研 究“词与词结合方式的含义”的学科称为语义学。语用(Pragmatic)信息 事物运动状态及其状态改变

9、方式的效用。191.1.2 1.1.2 信息的基本概念信息的基本概念举例说明信息三个层次的含义举例说明信息三个层次的含义有一个情报部门，主要对经济情报进行收集、整理与分析，以提供给决策机构。信息收集组：将收集到的资料按中文、英文或其他文字、明文、密文进行分类，不管这些资料的含义如何都交到信息处理组。信息处理组：翻译或破译得到这些资料的含义，然后交到信息分析组。信息分析组：挑选出有价值的情报提交给决策机构。20消消息息语语法法信信息息语语义义信信息息语语用用信信息息决策决策信息收集信息处理信息分析(翻译、破译翻译、破译)语法信息：英文，中文，密文等语义信息：含义语用信息：用途1.1.2 1.1.

10、2 信息的基本概念信息的基本概念举例说明信息三个层次的含义举例说明信息三个层次的含义211.1.2 1.1.2 信息的基本概念信息的基本概念 研究语义信息要以语法信息为基础 研究语用信息要以语义信息和语法信息为基础。语法信息是最简单、最基本的层次 语用信息则是最复杂、最实用的层次。221.1.2 1.1.2 信息的基本概念信息的基本概念“通信的基本问题是在一点精确地或近似地恢复另一点所选择的消息。通常，这些消息是有含义的，即它对于某系统指的是某些物理的或概念的实体。这些通信的语义方面与通信问题无关，而重要的方面是实际消息是从一个可能消息集合中选择出的一条消息。”香农在1948年指出：231.1

11、.2 1.1.2 信息的基本概念信息的基本概念香农先从语法信息入手解决当时最重要的通信工程一类的信息传递问题。香农信息论研究的事物运动的状态和变化方式的外在形式是遵循某种概率分布的随机事件。香农信息论或经典信息论所研究的信息是：语法信息中的概率信息24消息消息信息信息1.1.2 1.1.2 信息的基本概念信息的基本概念 消息是信息的携带者；信息包含于消息之中 信号是消息的载体；消息是信号的具体内容25图1.1 信息各层次之间的关系图1.1.2 1.1.2 信息的基本概念信息的基本概念261.2 1.2 香农信息论研究的内容香农信息论研究的内容1.2.1 通信系统模型1.2.2 香农信息论的主要

12、内容271.2.11.2.1 通信系统模型通信系统模型点对点的通信的通信系统模型是指“从一个地方向另一个地方传送信息的系统”通信系统通信系统是从空间的一点到另一点传送信息的存储系统存储系统是从时间的一点到另一点传送信息的281.2.11.2.1 通信系统模型通信系统模型图图1.2 通信系统模型通信系统模型 信源消息噪声信宿译码器信道编码器信号信号加噪声消息29 信源信源(information source)(information source)1.2.11.2.1 通信系统模型通信系统模型按输出符号的取值分类：离散信源、连续信源按输出符号之间的依赖关系分类：无记忆信源、有记忆信源 功能：直

13、接产生消息或消息序列信源的消息中所包含的信息量以及信息如何量度核心问题30编码器的功能是将消息变成适合于信道传输的信号编码器包括：信源编码器(source encoder)信道编码器(channel encoder)调制器(modulator)编码器编码器(Encoder)信道编码器信道编码器信源编码器信源编码器调制器调制器符号符号符号符号信号信号消息消息 图1.3 编码器的组成 1.2.11.2.1 通信系统模型通信系统模型311.2.11.2.1 通信系统模型通信系统模型信源编码器信源编码器功能：将信源消息变成符号目的：提高传输有效性 即压缩每个信源符号传输所需代码（通常为二进 制代码）的

14、数目（对二进制代码称比特数）。321.2.11.2.1 通信系统模型通信系统模型信源编码器消息符号a1,a2,aq码字c1,c2,cm码符号集b1,b2,bn例如，一个信源含4个符号a,b,c,d，概率分别为1/2，1/4，1/8，1/8。(1)如果不采用信源编码，每个信源符号至少需要用2个二进制代码传输。(2)如果采用信源编码，分别将a,b,c,d编码成为：0，10，110，111，那么平均每信源符号只需1.75个二进制代码传输。331.2.11.2.1 通信系统模型通信系统模型信道编码器信道编码器功能：给信源编码符号增加冗余符号目的：提高传输可靠性信源编码输出直接传送，不能保证传输可靠性。

15、信道编码对信源编码器的输出符号增加一些冗余符号，并让这些符号满足一定的数学规律，使传输具有纠错或检错能力。341.2.11.2.1 通信系统模型通信系统模型例如，奇偶纠错将信源编码输出的每个码组的尾补一个1或0当传输发生奇数差错，打乱了“1”数目的奇偶性，就可以检测出错误。351.2.11.2.1 通信系统模型通信系统模型(a)无检错(b)可检错(奇校验)(c)可纠错(纠一个错)图1.4 增加冗余符号增加可靠性示意图36 功能：将编码器的输出符号变成适合信道传输的信号 目的：提高传输效率1.2.11.2.1 通信系统模型通信系统模型调制器调制器信道编码符号不能直接通过信道输出，要将编码器的输出

16、符号变成适合信道传输的信号，例如，0、1符号变成两个电平，为远距离传输，还需载波调制，例如，ASK，FSK，PSK等。37狭义信道：某些物理通信信道，也可以是物理 的存储介质广义信道：一种逻辑信道，它和信息所通过的 介质无关，只反映信源与信宿的连 接关系1.2.11.2.1 通信系统模型通信系统模型信道信道(channel)信道是信号从编码器传输到译码器的中间媒介。信道信道38无噪声信道有噪声信道 通信系统中主要有两种噪声：加性噪声和乘性噪声。一般，背景噪声为加性，而衰落为乘性。在信息论中研究最多的是理想加性高斯白噪声（AWGN）信道。1.2.11.2.1 通信系统模型通信系统模型信道信道(c

17、hannel)信道391.2.11.2.1 通信系统模型通信系统模型信道信道(channel)高斯分布的普遍性主要基于两种原因：（1）根据中心极限定理，无数独立随机变量的和的分布趋近高斯分布，因此高斯噪声普遍存在（2）在限功率条件下产生最大熵的信源分布为高斯分布，而最大熵分布是最容易被观察到的分布40离散信道离散时间连续信道波形信道（或模拟信道）1.2.11.2.1 通信系统模型通信系统模型信道信道(channel)信道 离散信道和离散时间连续信道输入与输出都是符号序列，只不过符号取值不同，前者取离散值，而后者取连续值 波形信道的输入与输出均为时间的连续波形。41 信道也可有无记忆信道和有记忆

18、信道的区分 离散信道和离散时间连续信道可以是无记忆的，也可以是有记忆的 波形信道是通常有记忆的。1.2.11.2.1 通信系统模型通信系统模型信道信道(channel)42译码器译码器(decoder)译码器的功能：从信号中恢复消息 解调器 信道译码器 信源译码器信道译码器信道译码器解调器解调器信源译码器信源译码器符号符号符号符号消息消息信号信号 图1.5 译码器的组成 1.2.11.2.1 通信系统模型通信系统模型43信宿信宿(destination)1.2.11.2.1 通信系统模型通信系统模型信宿的功能是接收信息，包括人或设备。信宿的研究和压缩编码结合可以在不影响视听效果的条件下，显著压

19、缩码率。44有效性用频谱利用率来衡量。采用信源编码以压缩码率，采用频谱利用率高的调制减小传输带宽可靠性用传输错误率来衡量。采用信道编码以降低错误率安全性可通过信息的加密强度来衡量。采用强度高的加密和伪装技术通信系统性能指标的评价 1.2.11.2.1 通信系统模型通信系统模型45狭义信息论狭义信息论 即香农信息论或经典信息论。所研究的基本问题是：信源、信道及编码问题，核心是三个编码定理。广义信息论广义信息论 香农信息论（经典信息论）、信源编码、信道编码、近代信息论、统计通信理论、通信网理论、信号与信息处理、保密通信等。1.2.21.2.2 香农信息论香农信息论461.2.21.2.2 香农信息

20、论香农信息论 信源限制为具有某一先验概率的随机过程，所以在通信系统中各节点产生消息的实体也是随机过程包括信源在内的通信系统中所有过程的输出所含信息的度量称为信息的度量信息的度量也可视为是对随机变量的信息度量。1关于信息的度量471.2.21.2.2 香农信息论香农信息论 有两种含义不同但又密切相关的信息度量方式，一种是随机变量本身所含信息量多少的量度，另一种是随机变量之间相互提供信息量多少的量度。前者用信息熵来描述，后者用互信息来描述。1关于信息的度量482.无失真信源编码定理（香农第一定理）如果编码后的信源序列信息传输速率不小于信源的熵，则如果编码后的信源序列信息传输速率不小于信源的熵，则可

21、实现无失真编码，反之，不存在无失真编码。可实现无失真编码，反之，不存在无失真编码。1.2.21.2.2 香农信息论香农信息论例：ASCII码，摩尔斯电码最优编码：Huffman编码（DATA），L-Z通用编码算法 493.3.关于信道容量与信息的可靠传输（香农第二定理）关于信道容量与信息的可靠传输（香农第二定理）如果信息传输速率小于信道容量，则总可找到一种编码如果信息传输速率小于信道容量，则总可找到一种编码方式使得当编码序列足够长时传输差错任意小，反之不方式使得当编码序列足够长时传输差错任意小，反之不存在使差错任意小的编码。存在使差错任意小的编码。1.2.21.2.2 香农信息论香农信息论其中

22、，R为信息传输速率，也称信道编码码率，C为信道容量。503.3.关于信道容量与信息的可靠传输（香农第二定理）关于信道容量与信息的可靠传输（香农第二定理）1.2.21.2.2 香农信息论香农信息论根据实际研究的问题建立信道模型，分析特性，计算容量，以及在这些信道条件下各类通信系统的性能。寻找接近或达到信源信道容量的信道编码技术、分析其性能并有效实现。51限失真信源编码定理（香农第三定理）限失真信源编码定理（香农第三定理）对任何失真测度对任何失真测度 D 0D 0，只要码字足够长，总可，只要码字足够长，总可找到一种编码，使得当编码后信息传输速率找到一种编码，使得当编码后信息传输速率 R R R R

23、（D D）时，码的平均失真）时，码的平均失真d Dd D。R(DR(D）称为信息）称为信息率失真函数率失真函数。1.2.21.2.2 香农信息论香农信息论4 4信息率失真理论（有损数据压缩的理论基础）信息率失真理论（有损数据压缩的理论基础）其中，R为信源编码码率，R(D)称为信息率失真函数，是满足平均失真 D下，每信源符号所需最小编码比特数。521.2.21.2.2 香农信息论香农信息论香农信息论特点香农信息论特点l以概率论、随机过程为基本研究工具；l研究通信系统的整个过程，而不是单个环节，并以编、译码器为重点；l关心的是最优系统的性能和怎样到达这个性能，并不具体设计系统；l语法信息中的概率信

24、息，要求信源为随机过程。531.31.3 香农信息论研究的进展与应用香农信息论研究的进展与应用 1.3.1 香农信息论创立的背景 1.3.2 香农的主要贡献 1.3.3 香农信息论研究进展 1.3.4 香农信息论的应用541.技术背景技术背景 通信理论与技术已有较大发展2理论背景理论背景 Nyquist，Hartley，Wiener，Rice做了许多有影响的相关工作。为信息理论的建立产生了重要影响。1.3.1 1.3.1 香农信息论创立的背景香农信息论创立的背景55l 1948年，发表通信的数学理论，奠定了信息论的理论基础；l 1956年，发表The Zero-Error Capacity o

25、f a Noisy Channal 噪声信道的零差错容量，开创了零差错容量的研究领域；l 1959年，发表Coding Theorem for a Discrete Source with a Fidelity Criterion 在保真度准则下的离散信源编码定理，推动了信息率失真理论研究；l 1961年，发表Two-Way Communication Channels（双路通信信道），从而开拓了多用户理论的研究。1.3.2 1.3.2 香农的主要贡献香农的主要贡献561.信息的量度信息的量度 以香农熵为基础，研究信源信息熵的估计方法 将信息熵用做推断工具的最大熵原理，另外就是提出新的信息量度

26、方法，以适应新的应用。1.3.3 1.3.3 香农信息论的研究进展香农信息论的研究进展571.信息的量度信息的量度l 信息熵的估计l 最大熵原理l Kolmogorov熵l Renyi熵l Tsallis熵1.3.3 1.3.3 香农信息论的研究进展香农信息论的研究进展582.2.无损数据压缩无损数据压缩l 无损数据压缩的理论基础是香农第一定理和通用信源编码的理论。通用信源编码就是对某种宽泛的一类可能信源中的每一个都渐近达到最佳性能的信源编码。1.3.3 1.3.3 香农信息论的研究进展香农信息论的研究进展592.无损数据压缩无损数据压缩l 熵编码熵编码 Huffman编码 Tunstall编

27、码 Golomb编码 算术编码1.3.3 1.3.3 香农信息论的研究进展香农信息论的研究进展602.无损数据压缩无损数据压缩l 通用编码通用编码 LZ算法 Broose-Wheeler变换的压缩编码 部分匹配预测（Prediction by Partial Matching,PPM）压缩编码 上下文树加权编码方法1.3.3 1.3.3 香农信息论的研究进展香农信息论的研究进展612.无损数据压缩无损数据压缩l 分布信源编码分布信源编码 D.Slepian和J.Wolf提出相关信源编码是数据压缩理论最重要的进展之一。他们证明，即使对两个相关信源分别编码但联合译码，所需总的码率也可以小于两个信源

28、熵的和。此外具有边信息的信源编码和数据压缩的研究还在开展。1.3.3 1.3.3 香农信息论的研究进展香农信息论的研究进展623.3.可靠通信可靠通信l 多用户信道的研究多用户信道的研究l 各种特殊信道容量与有关编译码技术研究各种特殊信道容量与有关编译码技术研究 主要包括：多接入信道、无记忆高斯多接入信道、干扰信道、广播信道、未知参数信道、窃听信道等，现已构成信息论中一重要分支网络信息论。1.3.3 1.3.3 香农信息论的研究进展香农信息论的研究进展633.可靠通信可靠通信l 各种特殊信道容量与有关编译码技术研究各种特殊信道容量与有关编译码技术研究 主要包括：高斯信道、衰落信道、反馈信道、迭

29、代译码、有约束信道和零差错信道等l 多入多出（多入多出（MIMO）信道与空时编码的研究）信道与空时编码的研究 Paulraj、Telatar、Foschini等人的工作奠定了空时信道研究的理论基础 Tarokh提出了空时格码技术，推动了空时编码的研究643.可靠通信可靠通信l 编译码理论的研究编译码理论的研究 代数编码理论 BCH、RS码、卷积码、级联码以及TCM编码 Turbo码LDPC码l 信道编码定理的研究信道编码定理的研究 1.3.3 1.3.3 香农信息论的研究进展香农信息论的研究进展654.有损数据压缩有损数据压缩 Berger给出了更一般的率失真编码定理 Wyner和Ziv研究了

30、在译码器具有边信息的有损信源编码问 题，推动了多端有损压缩编码的研究 Hajek和Berger建立了随机场率失真编码理论的基础1.3.3 1.3.3 香农信息论的研究进展香农信息论的研究进展664.有损数据压缩有损数据压缩 Yang和Kieffer证明，对于信源统计特性和失真测度都通用 的有损压缩编码是存在的 信源和信道联合编码 实现有损压缩的技术得到很大发展1.3.3 1.3.3 香农信息论的研究进展香农信息论的研究进展67 信息论提出了评估通信系统性能优劣的基本标准信息论提出了评估通信系统性能优劣的基本标准 信息论提供了从全局的观点观察和设计通信系统的理论方法信息论提供了从全局的观点观察和设计通信系统的理论方法 信息论是从事与信息处理有关的研究、开发与管理人员的必备知识信息论是从事与信息处理有关的研究、开发与管理人员的必备知识 信息论在其他领域的应用已获得很大的成功信息论在其他领域的应用已获得很大的成功1.3.4 1.3.4 香农信息论的应用香农信息论的应用68谢谢大家！谢谢大家！69