香浓信息论完成版解析课件.ppt

1、香农其人 20世纪中叶，信息论、控制论、系统论等标新立异的新理论相继问世，有力地“晃动”着传统的科学框架。克劳德香农是一位美国数学工程师，作为信息论的创始人，人们认为他是20世纪最伟大的科学家之一。他在通信技术与工程方面的创造性工作，为计算机与远程通信奠为计算机与远程通信奠定了坚实的理论基础定了坚实的理论基础。人们尊崇香农为信息论及数字通信时代的奠基之父。 信息概念、“比特” 克劳德香农 (Claude Elwood Shannon，1916-2001) 1916年4月30日诞生于美国密西根州。 父亲是该镇的法官，母亲是镇里的中学校长，香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械

2、；此外，香农的家庭与大发明家爱迪生还有远亲关系。 香农其人家庭背景 2001年2月24日，香农在马萨诸塞州Medford辞世，享年85岁。 贝尔实验室和MIT发表的讣告都尊崇香农为 信息论及数字通信时代的奠基之父。 香农其人 1948年发表论文 ：A Mathematical Theory of Communication “通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现” 这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型的新思想 在这篇论文中，香农首次引入“比特”(bit)一词 香农其人信息理论 通信的数学理论是香农在数学与工程研究上的顶峰。他把

3、通信理论的解释公式化，对最有效地传输信息的问题进行了研究。 后来，写道： “信息理论可能像一个升空的气球，其重要性超过了它的实际成就” 香农其人信息理论 香农理论的重要特征是熵(entropy)的概念，他证明熵与信息内容的不确定程度有等价关系。 熵曾经是波尔兹曼在热力学第二定律引入的概念，可以把它理解为分子运动的混乱度。 信息熵也有类似意义。 香农其人信息理论 热能不能完全转化为机械能，只能从高温物体传到低温物体热能不能完全转化为机械能，只能从高温物体传到低温物体 香农的三个观点香农的三个观点：1）形式化假说 通信的基本问题是在消息的接收端精确或近似地复制发送端发出的消息。通信中消息的意义和效

4、果与通信工程没有关系。信息的两种两种定义2）非决定论 一个实际的消息总是从可能发生的消息集合中选择出来的；因此，系统必须对每种选择都能工作。信息的两种两种定义3）不确定 性 人们只有在两种情况下采用通信的需要：一是自己有某种形式的消息要告知对方，而估计对方“不知道”这个消息；二是自己有某种“疑问”要询问对方，而估计对方能做出一定的解释。信息的两种两种定义 香农的信息定义： 信息是用来消除 不确定性的东西。信息的两种两种定义信息理论信息理论信息论统计信息理论 四十年代末期C.E.Shannon，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。发展的观点信息科学所不可缺少的理

5、论基石什么是信息理论？信息论研究的对象、目的和内容 信息论对象信息传输系统统一的通信系统模型信息论研究的对象、目的和内容一、一、 研究对象研究对象 前面介绍的统一的通信系统模型。人们通过系统中前面介绍的统一的通信系统模型。人们通过系统中消息的传输和处理来研究信息传输和处理的共同规消息的传输和处理来研究信息传输和处理的共同规律。律。二、研究目的二、研究目的 找到信息传输过程的共同规律，提高信息传输的可找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。系统的最优化。由以上四个指标所讨论的系统优化就构成了

6、最著名的C. E. Shannon三个编码定理与一个密码学基本定理。 可靠性可靠性 使信源发出的消息经过信道传输以后，尽可能准确地、不使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现于接收端。失真地再现于接收端。 有效性有效性 经济性好，即用尽可能短的时间和尽可能少的设备来传经济性好，即用尽可能短的时间和尽可能少的设备来传送送定数量的信息。定数量的信息。 保密性保密性 隐蔽和保护通信系统中传送的消息，使它只能被授权接收隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。者获取，而不能被未授权者接收和理解。 认证性认证性 接收者能正确判断所接收的消息

7、的正确性，验证消息的完接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。整性，而不是伪造的和被窜改的。 有效性、可靠性、保密性和认证性四者构成现代通信系统对信息传有效性、可靠性、保密性和认证性四者构成现代通信系统对信息传输的输的全面要求全面要求。信息论研究的对象、目的和内容对信息论的研究内容一般有以下三种理解。对信息论的研究内容一般有以下三种理解。 狭义信息论狭义信息论（经典信息论）：（经典信息论）：主要研究信息的测度、信道容量以及信主要研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论，又称为源和信道编码理论等问题。这部分内容是信

8、息论的基础理论，又称为香农信息论香农信息论。 一般信息论一般信息论（通信理论）：主要是研究信息传输和处理问题，除了香（通信理论）：主要是研究信息传输和处理问题，除了香农理论外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、农理论外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论以及信息处理理论等。调制理论以及信息处理理论等。 广义信息论广义信息论：广义信息论不仅包括上述两方面的内容，而且包括所有：广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的领域，如模式识别、计算机翻译、心理学、遗传学、语与信息有关的领域，如模式识别、计算机翻译、心理学、遗传学、语言学等等。言

9、学等等。研究内容研究内容 信息论信息论是一门应用概率论、随机过程、数理统计和近代代数的是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的方法，来研究广义的信息传输、提取和处理系统中一般规律的学科。学科。 它的它的主要目的主要目的是提高信息系统的可靠性、有效性、保密性和认是提高信息系统的可靠性、有效性、保密性和认证性，以便达到系统最优化；证性，以便达到系统最优化； 它的它的主要内容主要内容(或分支或分支)包括香农理论、编码理论、维纳理论、包括香农理论、编码理论、维纳理论、检测和估计理论、信号设计和处理理论、调制理论、随机噪声检测和估计理论、信号设计和处理理论、调制理论、随机噪声理论和密码学理论等。理论和密码学理论等。v 本课程讨论香农信息理论本课程讨论香农信息理论 信息论研究的对象、目的和内容