信息及香农信息论概述概要课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《信息及香农信息论概述概要课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息 香农 信息论 概述 概要 课件
- 资源描述:
-
1、 信息及香农信息论简介信息及香农信息论简介大纲第一部分第一部分 信息的概念信息的概念第二部分第二部分 香农香农信息论及应用信息论及应用第三部分第三部分 香农信息论的局限性香农信息论的局限性第四部分第四部分 结束语结束语世界的支柱之一世界的支柱之一:信息信息l物质世界的三大支柱物质世界的三大支柱:物质、能量和信息Without materials,there is nothing.没有物质的世界是虚无的世界Without energy,nothing happens.没有能源的世界是死寂的世界Without information,nothing makes sense.没有信息的世界是混乱的世
2、界2022-11-1152022-11-1162022-11-1172022-11-1182022-11-1192022-11-11102022-11-11112022-11-111213我将你原来不知道的结果告诉你,就是提供了信息!例例1 当我给你一封信时,你就从我这里获得了信息,因为你事先并不知道其中的内容。例例2 设电脑彩票由8个10进制数组成.在开奖之前,我们不知道特等奖号码的信息,因为特等奖的号码是不确定。特等奖号码的信息只有在开奖时才获得。一旦开奖,就获得了8个十进制数的信息。这就是说,将未知的变成已知的时就获得了信这就是说,将未知的变成已知的时就获得了信息!息!信息寓于不确定之中
3、!信息寓于不确定之中!何为信息何为信息?什么能提供信息什么能提供信息?2022-11-1114何为信息何为信息?什么能提供信息什么能提供信息?l消息消息 打电话时对方发出的声音互联网上的网页广播、电视的节目l有些消息我们是未知的,有些是我们已知的有些消息我们是未知的,有些是我们已知的l人们感兴趣的是人们感兴趣的是未知的消息如何度量信息如何度量信息如何衡量如何衡量信息信息量的大小量的大小?事件发生的概率越小,此事件含有的信息量就越大。(不太可能发生的事件竟然发生了,令人震惊)l 例例1:中国足球队5:0力克韩国足球队”含有的信息量大。(小概率事件发生了,事件信息量大)l 例例2:中国足球队0:1
4、负于韩国足球队”含有的信息量小。(大概率事件发生了,事件信息量小)17信息量信息量我向你提供的信息量的大小就是你事先不知道结果的程度!也即是信息的不确定度。如果你事先全知道了,说明我提供的信息量等于0;如果你事先一无所知,说明我提供的信息量最多.不知道意味着在我告诉你之前你只能猜测!猜测就是按照每个可能结果的出现概率进行猜测!因此,你只知道这个事情的每个结果的发生概率!18信息量信息量的度量的度量所以,我提供的信息量就是由你事先知道的每个可能结果的发生概率(即随机事件的概率分布)决定.简单地说简单地说,信息就是信息就是:(1)当未知的变成已知的当未知的变成已知的之后之后获取的信息获取的信息;(
5、2)当未知的还没变成已知当未知的还没变成已知之前之前包含的未知信包含的未知信息息.19信息量信息量的度量的度量通常的信息是指通常的信息是指:(1)一个实验提供的信息一个实验提供的信息;(2)一个随机事件包含的信息一个随机事件包含的信息;(3)一个随机变量包含的信息一个随机变量包含的信息.其中其中(1)和和(2)的含义相同的含义相同,它们比它们比(3)的意义的意义更加广泛更加广泛.什么是信息什么是信息l香农:“信息是事物运动状态或存在方式的不确定性的描述”。l通过概率论和随机过程测度信息不确定性的大小。l香农的通信系统模型 信道信源信道信道/信源信源译码器译码器信源信源/信道信道编码器编码器信宿
6、噪声通信系统模型通信系统模型 信号信号信号加信号加噪声噪声消息消息消息消息2022-11-1122信源、信宿和信道信源、信宿和信道 l信源:发送消息的源离散信源和连续信源信源是信息论的主要研究对象之一,但在信息论中并不探讨信源的内结构和物理机理,而把注意力放在信源的输出上,重点讨论信源输出的描述方法及性质。l信宿:信息归宿之意,亦即收信者或用户,是信息传送的终点或目的地。l信道:传输信息的物理媒介 23信源编码器与译码器信源编码器与译码器 l信源编码器的作用把信源发出的消息变换成由二进制码元(或多进制码元)组成的代码组,这种代码组就是基带信号。同时通过信源编码可以压缩信源的冗余度,以提高通信系
7、统传输消息的效率。l信源译码器的作用把信道译码器输出的代码组变换成信宿所需要的消息形式,它的作用相当于信源编码器的逆过程。2022-11-1124信道编码器与译码器信道编码器与译码器l信道编码器的作用在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力。l信道译码器的作用具有检错或纠错的功能,它能将落在其检错或纠错范围内的错传码元检出或纠正,以提高传输消息的可靠性。大纲第一部分第一部分 信息的概念信息的概念第二部分第二部分 香农信息论及应用香农信息论及应用第三部分第三部分 香农信息论的局限性香农信息论的局限性第四部分第四部分 结束语结束语香农信息论及应用 20世纪中叶,
8、信息论、控制论、系统论等标新立异的新理论相继问世,有力地“晃动”着传统的科学框架。克劳德香农是一位美国数学工程师,作为信息论的创始人,人们认为他是20世纪最伟大的科学家之一。他在通信技术与工程方面的创造性工作,为计算机与远程通信奠定了坚实的理论基为计算机与远程通信奠定了坚实的理论基础础。人们尊崇香农为信息论及数字通信时代的奠基之父。信息概念、“比特”克劳德香农 (Claude Elwood Shannon,1916-2001)1916年4月30日诞生于美国密西根州。父亲是该镇的法官,母亲是镇里的中学校长,香农的祖父是一位农场主兼发明家,发明过洗衣机和许多农业机械;此外,香农的家庭与大发明家爱迪
9、生还有远亲关系。2001年2月24日在马萨诸塞州的Medford因老年痴呆症与世长辞,享年85岁。贝尔实验室和MIT发表的讣告都尊崇香农为 信息论及数字通信时代的奠基之父。1938年在MIT获得获得电气工程硕士学位,硕士论文题目是A Symbolic Analysis of Relay and Switching Circuits(继电器与开关电路的符号分析)。他注意到电话交换电路与布尔代数之间的类似性,即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来,并用1和0表示。于是他用布尔代数分析并优化开关电路,这就奠定了数字电路的理论基础。哈佛大学的伽登纳(Howard Gardner
10、)教授说,“这可能是本世纪最重要、最著名的一篇硕士论文。”1940年香农在MIT获得数学博士学位,而他的博士论文却是关于人类遗传学的,题目是 An Algebra for Theoretical Genetics (理论遗传学的代数学)。1948年发表论文:A Mathematical Theory of Communication “通信的根本问题是报文的再生,在某一点与另外选择的一点上报文应该精确地或者近似地重现”这篇论文建立了信息论这一学科,给出了通信系统的线性示意模型的新思想 在这篇论文中,香农首次引入“比特”(bit)一词 通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的
11、解释公式化,对最有效地传输信息的问题进行了研究。后来,写道:“信息理论可能像一个升空的气球,其重要性超过了它的实际成就”香农理论的重要特征是熵(entropy)的概念,他证明熵与信息内容的不确定程度有等价关系。熵曾经是波尔兹曼在热力学第二定律引入的概念,可以把它理解为分子运动的混乱度。信息熵也有类似意义。热能不能完全转化为机械能,热能不能完全转化为机械能,只能从高温物体传到低温物只能从高温物体传到低温物体体 香农可以熟练地玩一套杂技。一个脍炙人口的故事:他经常骑着独轮车、手里抛着三个球来到贝尔实验室的大厅。发明过有两个座位的独轮车,不过恐怕没有人敢与他 享;他还把独轮车造成偏离地心的,骑在上面
12、忽高忽 低,像鸭子行走似的 这些活动表明了香农的主张,即这些活动表明了香农的主张,即好奇心比实用性对他的好奇心比实用性对他的 刺激更大。刺激更大。他的名言他的名言是:“我感到奇妙的是事物何以集成一体。我感到奇妙的是事物何以集成一体。”1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司,并在贝尔实验室工作到1972年;从24岁到55岁,整整31年。1956年他当了MIT的访问教授,1958年成为正式教授,1978年退休。二战时期,香农博士是一位著名的密码破译者。1949年香农发表了另外一篇重要论文 Communication Theory of Secrecy Systems 意
13、义:意义:使保密通信由艺术变成科学!使保密通信由艺术变成科学!是使我们的世界能进行立即通信的少数科学家和思想家之一 是美国科学院院士、美国工程院院士、英国皇家学会会员、美国哲学学会会员 获得:1949年Morris奖、1955年Ballantine奖、1962年Kelly奖、1966年的国家科学奖章、IEEE的荣誉奖章、1978年Jaquard奖、1983年Fritz奖、1985年基础科学京都奖 佛兰克林研究所的巴兰亭奖奖章 美国工业电子工程协会颁发的凯莱奖奖 美国电机和电子工程协会的荣誉奖美国电机和电子工程协会的荣誉奖 19481948年发表年发表“保密通信的信息理论保密通信的信息理论”,首
14、先用信,首先用信息论的观点对信息保密问题作了全面的论述;息论的观点对信息保密问题作了全面的论述;19591959年发表年发表“保真度准则下的离散信源编码定保真度准则下的离散信源编码定理理”-提出信息率失真理论,为信源压缩编码研究提出信息率失真理论,为信源压缩编码研究奠定理论基础;奠定理论基础;19611961年发表年发表“双路通信信道双路通信信道”,开拓了多用户信,开拓了多用户信息理论(网络信息论)的研究。息理论(网络信息论)的研究。3.3.影响影响 是是2020世纪最杰出的人物之一。如果没有他,很多我们现世纪最杰出的人物之一。如果没有他,很多我们现在使用的物品根本就不可能存在。数字革命是由香
15、农最在使用的物品根本就不可能存在。数字革命是由香农最初发起的。初发起的。内尔内尔斯罗恩(香农理论选集的编辑)斯罗恩(香农理论选集的编辑)ShannonShannon理论的问世,象是引爆了一枚重磅的原子弹,理论的问世,象是引爆了一枚重磅的原子弹,震撼了整个科学界。震撼了整个科学界。J.Pierce(J.Pierce(香农的合作者和朋友)香农的合作者和朋友)一、一、研究对象研究对象前面介绍的统一的通信系统模型。人们通过系前面介绍的统一的通信系统模型。人们通过系统中消息的传输和处理来研究信息传输和处理统中消息的传输和处理来研究信息传输和处理的共同规律。的共同规律。信道信源译码器译码器编码器编码器信宿
16、噪声通信系统模型通信系统模型 信号信号信号加信号加噪声噪声消息消息消息消息2022-11-1142信道信源信源编码加密信道编码干 扰 源信宿信源解码解密信道解码加密密钥解密密钥 研究目的研究目的找到信息传输过程的共同规律,提高信息传输找到信息传输过程的共同规律,提高信息传输的可靠性、有效性、保密性和认证性,以达到的可靠性、有效性、保密性和认证性,以达到信息传输系统的最优化。信息传输系统的最优化。由以上四个指标所讨论的系统优化就构成了最著名的C.E.Shannon三个编码定理与一个概念。香农信息论及应用香农信息论及应用l香农信息论解决的主要问题:香农信息论解决的主要问题:什么是信息?如何度量?什
17、么是信息?如何度量?在给定的信道中,信息传输有没有极限?在给定的信道中,信息传输有没有极限?信息能否被压缩和恢复?极限条件是什么?信息能否被压缩和恢复?极限条件是什么?从实际环境中(如干扰、噪声)抽取信息,极限条件从实际环境中(如干扰、噪声)抽取信息,极限条件是什么?是什么?在允许一定失真(在允许一定失真(Distortion)的条件下,信息能否被)的条件下,信息能否被更大程度地压缩?极限条件是什么?更大程度地压缩?极限条件是什么?2022-11-1145信息论的形成和发展信息论的形成和发展1.信息论的早期酝酿(信息论的早期酝酿(19世纪到世纪到20世纪世纪40年代)年代)n编码技术产生:莫尔
18、斯码、波多码编码技术产生:莫尔斯码、波多码n早期通信中发现的问题早期通信中发现的问题信号的频带宽度和信噪比影响信道的通信容量。信号的频带宽度和信噪比影响信道的通信容量。通信的数量与质量相互制约:有效性和可靠性通信的数量与质量相互制约:有效性和可靠性抗干扰码的出现。抗干扰码的出现。n香农熵的产生香农熵的产生维纳、费希尔、香农几乎同时提出信息的度量形式维纳、费希尔、香农几乎同时提出信息的度量形式n1948年,香农发表论文年,香农发表论文通信的数学理论通信的数学理论,奠,奠定了现代信息论的基础定了现代信息论的基础香农信息论的内容可用一句话概括为:香农信息论的内容可用一句话概括为:“一个概念,三个定理
19、一个概念,三个定理”,就是信息熵的,就是信息熵的概念和三个编码定理。概念和三个编码定理。香农信息论及应用香农信息论的内容是?香农信息论的内容是?0 0关于信源信息的度量关于信源信息的度量 香农香农定义了信息熵作为信源所含信息定义了信息熵作为信源所含信息的量度,是信息论中最重要的概念。的量度,是信息论中最重要的概念。香农信息论及应用48定义定义1:设一个实验有设一个实验有 共共n个可能的结个可能的结果,则每个可能结果都称为一个事件。果,则每个可能结果都称为一个事件。这个实验这个实验也称为一个随机事件。也称为一个随机事件。性质性质1:设设X是一个离散随机变量,它有是一个离散随机变量,它有n个可能的
20、个可能的取值,设每种取值出现的概率为取值,设每种取值出现的概率为p(xi),则则nAAA,21niixp11)(nxxx,2149 一、随机事件的熵一、随机事件的熵 一个事件可能发生,也可能不发生!但我们总一个事件可能发生,也可能不发生!但我们总在每个事件在每个事件 发生的概率发生的概率 都已知的条件下分析!都已知的条件下分析!iA)(iAp 一个一个实验实验,或者说一个事件,或者说一个事件,提供的信提供的信息就是:息就是:(1)实验前实验前该实验所包含的未知信息;该实验所包含的未知信息;(2)实验后实验后这个实验所提供的信息这个实验所提供的信息.如何对信息量的大小进行定量刻划如何对信息量的大
展开阅读全文