信息论与编码基础教程第一章课件.ppt

1、信息论与编码基础教程信息论与编码基础教程 第一章第一章张丽英制作张丽英制作Page 2第一章第一章 绪绪 论论目目 录录第第1章章 绪论绪论第第2章章 信源及信源熵信源及信源熵第第3章章 信息率失真函数信息率失真函数第第4章章 信源编码信源编码第第5章章 信道及信道容量信道及信道容量第第6章章 信道编码信道编码第第7章章*密码技术密码技术目目 录录Page 3第一章第一章 绪绪 论论第第1章章 绪论绪论1.1 信息论发展简史信息论发展简史1.2 信息论研究的目的和本门课主要学习的内容信息论研究的目的和本门课主要学习的内容1.3 信息论的概念及常用术语信息论的概念及常用术语1.4 通信系统的模型

2、通信系统的模型Page 4第一章第一章 绪绪 论论第第1章章 绪论绪论 1.1 信息论发展简史信息论发展简史 我国古代我国古代“烽火告警烽火告警”是一种最早的快速、远距是一种最早的快速、远距离传递信息的方式；离传递信息的方式；造纸术和印刷术的发明，使信息的表示和存储方造纸术和印刷术的发明，使信息的表示和存储方式产生了一次重大的变化；式产生了一次重大的变化；电报、电话、电视的发明，再次引导了信息加工电报、电话、电视的发明，再次引导了信息加工和传输的革命；和传输的革命；1.1 信息论发展简史信息论发展简史贝尔贝尔麦克斯韦麦克斯韦Page 5第一章第一章 绪绪 论论 20世纪后半叶，计算机技术、微电

3、子技术、世纪后半叶，计算机技术、微电子技术、传感技术、激光技术、卫星通信技术、移动通信传感技术、激光技术、卫星通信技术、移动通信技术、航空航天技术、广播电视技术、多媒体技技术、航空航天技术、广播电视技术、多媒体技术、网络技术、新能源和新材料等新技术的应用，术、网络技术、新能源和新材料等新技术的应用，将人类社会推入到高度信息化的时代。将人类社会推入到高度信息化的时代。1.1 信息论发展简史信息论发展简史Page 6第一章第一章 绪绪 论论 一位美国科学家在诗中这样描述：一位美国科学家在诗中这样描述：没有物质的世界是虚无的世界，没有没有物质的世界是虚无的世界，没有能源的世界是死寂的世界，没有信息的

4、世能源的世界是死寂的世界，没有信息的世界是混乱的世界。界是混乱的世界。可见信息的重要性。可见信息的重要性。1.1 信息论发展简史信息论发展简史Page 7第一章第一章 绪绪 论论Page 8第一章第一章 绪绪 论论Page 9第一章第一章 绪绪 论论 这一成果于这一成果于1948年以年以“通信的数学理论通信的数学理论”（A Mathematical Theory of Communication）为为论文题目公开发表。论文题目公开发表。这是一篇信息论开创性的权威论文，为这是一篇信息论开创性的权威论文，为信息论理论建立了基础。信息论理论建立了基础。1.1 信息论发展简史信息论发展简史Page 1

5、0第一章第一章 绪绪 论论1951年，美国无线电工程师协会（年，美国无线电工程师协会（Institute of Radio Engineers，IRE）成立了信息论组，）成立了信息论组，1955年正式出版了信息论汇刊。香农等科学家在年正式出版了信息论汇刊。香农等科学家在其发表了许多重要文章。其发表了许多重要文章。1948年香农在论文中提出了无失真信源编码年香农在论文中提出了无失真信源编码定理，给出了简单的编码方法定理，给出了简单的编码方法香农码。香农码。1952年费诺（年费诺（Fano，R.M.）和哈夫曼）和哈夫曼（Huffman，D.A.）分别提出了各自的编码方法，）分别提出了各自的编码方法

6、，并证明其方法都是最佳编码法。并证明其方法都是最佳编码法。信息论的发展：信息论的发展：1.1 信息论发展简史信息论发展简史Page 11第一章第一章 绪绪 论论 1959年，香农在发表的年，香农在发表的“保真度准则下离保真度准则下离散信源编码定理散信源编码定理”（Coding Theorems for a Discrete Source with a Fidelity Criterion）一文中，系统地提出了一文中，系统地提出了信息率失真理论信息率失真理论和和限失限失真信源编码定理真信源编码定理。这两个理论是数据压缩的数。这两个理论是数据压缩的数学基础，为各种信源编码的研究奠定了基础。学基础，

7、为各种信源编码的研究奠定了基础。1.1 信息论发展简史信息论发展简史Page 12第一章第一章 绪绪 论论 20世纪世纪60年代，信道编码技术有了年代，信道编码技术有了较大发展，成为信息论的又一重要分支，较大发展，成为信息论的又一重要分支，它把代数方法引入到纠错码的研究中，使它把代数方法引入到纠错码的研究中，使分组码技术达到了高峰，找到了可纠正多分组码技术达到了高峰，找到了可纠正多个错误的码，提出了可实现的译码方法；个错误的码，提出了可实现的译码方法；同时卷积码和概率译码也有了重大突破。同时卷积码和概率译码也有了重大突破。1.1 信息论发展简史信息论发展简史Page 13第一章第一章 绪绪 论

8、论 1961年，香农的年，香农的“双路通信信道双路通信信道”（Two-way Communication Channels）论文开拓了多）论文开拓了多用户信息理论的研究。到用户信息理论的研究。到20世纪世纪70年代，有关信年代，有关信息论的研究，从点与点间的单用户通信推广发展息论的研究，从点与点间的单用户通信推广发展到多用户系统的研究。到多用户系统的研究。1.1 信息论发展简史信息论发展简史Page 14第一章第一章 绪绪 论论 近近30多年来，这一领域的研究十分活跃，大多年来，这一领域的研究十分活跃，大量的论文被发表，使多用户信息论的理论日趋完量的论文被发表，使多用户信息论的理论日趋完整。近

9、几年，随着计算机技术和超大规模集成电整。近几年，随着计算机技术和超大规模集成电路技术的发展，信道编码，如路技术的发展，信道编码，如Turbo码、码、LDPC等等编解码取得了重大突破。编解码取得了重大突破。Turbo码、码、LDPC采用长采用长码、交织技术、迭代解码技术进行编解码，从而码、交织技术、迭代解码技术进行编解码，从而提高了编码效率和纠错能力。提高了编码效率和纠错能力。1.1 信息论发展简史信息论发展简史Page 15第一章第一章 绪绪 论论 目前，信息论不仅在通信、广播、电视、目前，信息论不仅在通信、广播、电视、雷达、导航、计算机、自动控制、电子对抗雷达、导航、计算机、自动控制、电子对

10、抗等电子学领域得到了直接应用，还广泛地渗等电子学领域得到了直接应用，还广泛地渗透到医学、生物学、心理学、神经生理学等透到医学、生物学、心理学、神经生理学等自然科学，甚至语言学、美学等领域。自然科学，甚至语言学、美学等领域。信息论已成为涉及范围极广的信息科学。信息论已成为涉及范围极广的信息科学。1.1 信息论发展简史信息论发展简史Page 16第一章第一章 绪绪 论论1、信息论研究的目的：、信息论研究的目的：高效、可靠、安全并且随心所欲地交高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。换和利用各种各样的信息。1.2 信息论研究的目的和内容信息论研究的目的和内容1.2 信息论研究的目的和

11、内容信息论研究的目的和内容Page 17第一章第一章 绪绪 论论 2.本门课主要研究的内容本门课主要研究的内容（1 1）离散信息的度量与离散信源；）离散信息的度量与离散信源；（2 2）连续信息的度量与连续信源；）连续信息的度量与连续信源；（3 3）信息率失真函数；）信息率失真函数；（4 4）无失真信源编码、限失真信源编码；）无失真信源编码、限失真信源编码；（5 5）离散无记忆信道容量；）离散无记忆信道容量；（6 6）加性白噪声（）加性白噪声（AWGNAWGN）信道容量；）信道容量；（7 7）有噪信道编码定理；）有噪信道编码定理；（8 8）差错控制编码；）差错控制编码；（9 9）密码技术。）密码

12、技术。1.2 信息论研究的目的和内容信息论研究的目的和内容Page 18第一章第一章 绪绪 论论1.3 1.3 信息论的概念及常用术语信息论的概念及常用术语1、信息论的定义、信息论的定义1）狭义信息论（又称为香农信息论）狭义信息论（又称为香农信息论）信息论是在信息可以度量的基础上有效信息论是在信息可以度量的基础上有效地和可靠地传递信息的科学，它涉及信息的地和可靠地传递信息的科学，它涉及信息的度量、信息的特性、信息传输速率、信道容度量、信息的特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。量、干扰对信息传输的影响等方面的知识。1.3 1.3 信息论的概念及常用术语信息论的概念及常

13、用术语Page 19第一章第一章 绪绪 论论2）广义信息论）广义信息论 信息论包括通信的全部统计问题的研究、信息论包括通信的全部统计问题的研究、香农信息论、信号设计、噪声理论、信号检香农信息论、信号设计、噪声理论、信号检测与估值等，还包括如医学、生物学、心理测与估值等，还包括如医学、生物学、心理学、遗传学、神经生理学、语言学甚至社会学、遗传学、神经生理学、语言学甚至社会学和科学管理学中有关信息的问题。学和科学管理学中有关信息的问题。1.3 1.3 信息论的概念及常用术语信息论的概念及常用术语Page 20第一章第一章 绪绪 论论2信息、消息、信号及其区别信息、消息、信号及其区别1）信息）信息香

14、农定义香农定义:信息是事物运动状态或存在方式的不确定信息是事物运动状态或存在方式的不确定性的描述。性的描述。信息的基本概念在于它的不确定性，任何信息的基本概念在于它的不确定性，任何确定的事物都不会有信息。确定的事物都不会有信息。1.3 1.3 信息论的概念及常用术语信息论的概念及常用术语Page 21第一章第一章 绪绪 论论 2 2）消息）消息 定义定义:用文字、符号、数据、语言、音符、图片、用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来客观物质运动和主观思维活动的状态表达出来就成为

15、消息。就成为消息。消息包含信息，是信息的载体，但不是物理性的。消息包含信息，是信息的载体，但不是物理性的。1.3 1.3 信息论的概念及常用术语信息论的概念及常用术语Page 22第一章第一章 绪绪 论论 3 3）信号）信号 定义定义:把消息换成适合信道传输的物理量（如电把消息换成适合信道传输的物理量（如电信号、光信号、声信号、生物信号等），这种信号、光信号、声信号、生物信号等），这种物理量称为信号。物理量称为信号。信号是信息的载体，是物理性的。信号是信息的载体，是物理性的。1.3 1.3 信息论的概念及常用术语信息论的概念及常用术语Page 23第一章第一章 绪绪 论论3 3信息的可靠性、有

16、效性、保密性、认证性信息的可靠性、有效性、保密性、认证性（1）可靠性：）可靠性：使信源发出的消息经过信道传输以后，尽可使信源发出的消息经过信道传输以后，尽可能准确、不失真的再现在接收端；能准确、不失真的再现在接收端；（2）有效性：）有效性：用尽可能短的时间和尽可能少的设备来传送用尽可能短的时间和尽可能少的设备来传送一定数量的信息；一定数量的信息；1.3 1.3 信息论的概念及常用术语信息论的概念及常用术语Page 24第一章第一章 绪绪 论论 （3）保密性：）保密性：隐蔽和保护通信系统中传送的消息，使它隐蔽和保护通信系统中传送的消息，使它只能被授权接收者接收，而不能被未授权接收者只能被授权接收

17、者接收，而不能被未授权接收者接收和理解；接收和理解；（4）认证性：）认证性：接收者能正确判断所接收的消息的正确性，接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造和篡改的。验证消息的完整性，而不是伪造和篡改的。1.3 1.3 信息论的概念及常用术语信息论的概念及常用术语Page 25第一章第一章 绪绪 论论（1）信息是新知识、新内容；）信息是新知识、新内容；（2）信息是能使认识主体对某一事物的未知）信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；性或不确定性减少的有用知识；（3）信息可以产生，也可以消失，同时信息）信息可以产生，也可以消失，同时信息也可以被携带、

18、储存及处理；也可以被携带、储存及处理；（4）信息可以度量。）信息可以度量。4信息的特征信息的特征1.3 1.3 信息论的概念及常用术语信息论的概念及常用术语Page 26第一章第一章 绪绪 论论（1）按信息的性质分类：语法信息，语义信息和）按信息的性质分类：语法信息，语义信息和语用信息；语用信息；（2）按观察过程分类：实在信息，先验信息和实）按观察过程分类：实在信息，先验信息和实得信息；得信息；（3）按信息的地位分类：客观信息（效果信息、）按信息的地位分类：客观信息（效果信息、环境信息）和主观信息（决策信息，指令、控制环境信息）和主观信息（决策信息，指令、控制和目标信息）；和目标信息）；（4）

19、按信息的作用分类：有用信息、无用信息和）按信息的作用分类：有用信息、无用信息和 干扰信息；干扰信息；5信息的分类信息的分类1.3 1.3 信息论的概念及常用术语信息论的概念及常用术语Page 27第一章第一章 绪绪 论论（5）按信息的逻辑意义分类：真实信息、虚假信）按信息的逻辑意义分类：真实信息、虚假信息和不定信息；息和不定信息；（6）按信息的传递方向分类：前馈信息和反馈信）按信息的传递方向分类：前馈信息和反馈信息；息；（7）按信息的生成领域分类：宇宙信息、自然信）按信息的生成领域分类：宇宙信息、自然信息、思维信息和社会信息；息、思维信息和社会信息；（8）按信息的信息源性质分类：语言信息、图像

20、）按信息的信息源性质分类：语言信息、图像信息、数据信息、计算信息和文字信息；信息、数据信息、计算信息和文字信息；（9）按信息的信号形成分类：连续信息、离散信）按信息的信号形成分类：连续信息、离散信息和半连续信息。息和半连续信息。1.3 1.3 信息论的概念及常用术语信息论的概念及常用术语Page 28第一章第一章 绪绪 论论 其它分类其它分类:按信息的应用部门、载体性质等分类。按信息的应用部门、载体性质等分类。在众多的分类原则和方法中，最重要的就在众多的分类原则和方法中，最重要的就是按照信息性质分类。香农信息论主要讨论的是按照信息性质分类。香农信息论主要讨论的是语法信息中的概率信息。是语法信息

21、中的概率信息。1.3 1.3 信息论的概念及常用术语信息论的概念及常用术语Page 29第一章第一章 绪绪 论论1.4 通信系统的模型通信系统的模型1.4 1.4 通信系统的模型通信系统的模型加加密密编编码码解解密密编编码码通信系统物理模型通信系统物理模型噪噪声声源源信信源源信信源源编编码码信信道道编编码码信信道道信信道道译译码码信信源源译译码码信信宿宿Page 30第一章第一章 绪绪 论论【注意注意】（1）图）图1-1给出的模型只适用于收发两端单向通信给出的模型只适用于收发两端单向通信的情况，只有一个信源和一个信宿，信息传输也的情况，只有一个信源和一个信宿，信息传输也是单向的。更一般的情况是

22、信宿和信源各有若干是单向的。更一般的情况是信宿和信源各有若干个，即信道有多个输入和多个输出，信息传输也个，即信道有多个输入和多个输出，信息传输也可以是双向的，例如，广播通信是单输入多输出，可以是双向的，例如，广播通信是单输入多输出，卫星通信网是多输入多输出和多向传输的通信。卫星通信网是多输入多输出和多向传输的通信。（2）研究这样一个概括性很强的通信系统的目的，）研究这样一个概括性很强的通信系统的目的，就是要找到信息传输过程中的共同规律，以提高就是要找到信息传输过程中的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，信息传输的可靠性、有效性、保密性和认证性，从而达到信息传输系统最优化。

23、从而达到信息传输系统最优化。Page 31第一章第一章 绪绪 论论（3）不是所有的通信系统都采用图）不是所有的通信系统都采用图1-1所示的那样所示的那样全面的技术，例如，点对点的有线电话只需一对全面的技术，例如，点对点的有线电话只需一对电话机和一条电话线路（铜线）即可，话音基带电话机和一条电话线路（铜线）即可，话音基带信号通过电话机变为相应的电信号（模拟信号），信号通过电话机变为相应的电信号（模拟信号），即在电话线上传送，接收端的电话机再把电信号即在电话线上传送，接收端的电话机再把电信号恢复成人耳能听到的话音；恢复成人耳能听到的话音；Page 32第一章第一章 绪绪 论论 如果是点对点的无线电

24、话，需要在发送端加如果是点对点的无线电话，需要在发送端加一台发射机，将模拟信号调制到射频上，再用大一台发射机，将模拟信号调制到射频上，再用大功率发射机经天线发射出去，经无线信道传输功率发射机经天线发射出去，经无线信道传输,接接收端的收信机把收到的调制射频信号解调恢复为收端的收信机把收到的调制射频信号解调恢复为发送端的原始话音；如系统需保密则可在系统中发送端的原始话音；如系统需保密则可在系统中增加加密和解密装置，就构成无线保密通信系统；增加加密和解密装置，就构成无线保密通信系统；如传输中干扰大、信道容量有限，则需加入信源如传输中干扰大、信道容量有限，则需加入信源编码和信道编码技术，以提高传输消息的有效性编码和信道编码技术，以提高传输消息的有效性和可靠性。和可靠性。Page 33第一章第一章 绪绪 论论1-1 信息、消息、信号的定义是什么信息、消息、信号的定义是什么?三者的关三者的关系是什么系是什么?1-2 简述一个通信系统包括的各主要功能模块及简述一个通信系统包括的各主要功能模块及其作用。其作用。1-3 写出信息论的定义（狭义信息论、广义信息写出信息论的定义（狭义信息论、广义信息论）。论）。1-4 信息有哪些特征信息有哪些特征?1-5 信息有哪些分类信息有哪些分类?1-6 信息有哪些性质？信息有哪些性质？