信息论与编码--第1章概论课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《信息论与编码--第1章概论课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 概论 课件
- 资源描述:
-
1、长江大学电信学院1第1章 概论 1.1 信息的概念信息的概念 1.2 信息论的研究对象、目的和内容信息论的研究对象、目的和内容 1.3 信息论的形成和发展信息论的形成和发展21.1 信息的概念信息的概念 信息的产生与传播信息的产生与传播 信息的定义与分类信息的定义与分类 信息的特征与性质信息的特征与性质31.1.1 信息的产生与传播信息的产生与传播 信息这一概念是在人类社会互同情报的实践过程中信息这一概念是在人类社会互同情报的实践过程中产生的。人类社会的生存与发展,时刻都离不开接收产生的。人类社会的生存与发展,时刻都离不开接收信息、传递信息、处理信息和利用信息。信息、传递信息、处理信息和利用信
2、息。花朵开放时的色彩是一种信息,它可以引来昆虫为花朵开放时的色彩是一种信息,它可以引来昆虫为其授粉;其授粉;中国古代烽火台上点燃的烽火狼烟是一种信息,它中国古代烽火台上点燃的烽火狼烟是一种信息,它一级一级地向后方传递着军情;一级一级地向后方传递着军情;在当时条件下,这的确是一种快速的信息传递方式。在当时条件下,这的确是一种快速的信息传递方式。1.1 信息的概念信息的概念41.1 信息的概念信息的概念 在照相机纪录影像之前,人们通过绘画纪录人的面在照相机纪录影像之前,人们通过绘画纪录人的面貌,当然,绘画肖像也是一种信息。貌,当然,绘画肖像也是一种信息。照相机拍下的影像较之绘画肖像显然要真实得多。
3、照相机拍下的影像较之绘画肖像显然要真实得多。51.1 信息的概念信息的概念 信息革命推动了社会的进步信息革命推动了社会的进步 信息的五次变革信息的五次变革 1.声音、手势和语言声音、手势和语言 2.文字符号进入人类社会文字符号进入人类社会 3.印刷术提供了新的信息活动手段印刷术提供了新的信息活动手段 4.电磁波开始传播信息电磁波开始传播信息 5.计算机与通信的完美结合计算机与通信的完美结合61.1 信息的概念信息的概念 信息时代信息时代 1.信息量急剧增加信息量急剧增加 2.以电子工业为中心的新兴工业正蓬勃发展以电子工业为中心的新兴工业正蓬勃发展 3.社会劳动力结构发生很大变化社会劳动力结构发
4、生很大变化 物质产品物质产品 知识产品知识产品 信息科学技术知识已经成了最重要的战略资源。信信息科学技术知识已经成了最重要的战略资源。信息作为资源,如何开发、利用、共享是人们普遍关注息作为资源,如何开发、利用、共享是人们普遍关注的问题。的问题。71.1 信息的概念信息的概念 人类发展与信息传播人类发展与信息传播 人类发展的历史是沿着信息不断膨胀的方向前进的。人类发展的历史是沿着信息不断膨胀的方向前进的。在信息量小、传播效率低的社会,发展速度缓慢;在信息量小、传播效率低的社会,发展速度缓慢;而信息量大、传播效率高的社会,发展速度就快,而信息量大、传播效率高的社会,发展速度就快,一日千里。一日千里
5、。信息技术的高速发展使得人类获取信息的深度、广信息技术的高速发展使得人类获取信息的深度、广度已今非昔比。如,互联网发展的速度远远超过了以度已今非昔比。如,互联网发展的速度远远超过了以前传播方式。前传播方式。81.1 信息的概念信息的概念 无线电广播问世无线电广播问世38年后,拥有年后,拥有5000万听众;万听众;电视诞生电视诞生13年后,拥有同样数量的观众;年后,拥有同样数量的观众;而互联网从而互联网从1993年对公众开发,到拥有这个数量的年对公众开发,到拥有这个数量的用户只花了用户只花了4年时间。年时间。推动信息革命和信息技术发展的三项技术推动信息革命和信息技术发展的三项技术 微电子技术:信
6、息技术的微电子技术:信息技术的“细胞细胞”通信技术:信息技术的通信技术:信息技术的“神经神经”计算机技术:信息技术的计算机技术:信息技术的“大脑大脑”91.1 信息的概念信息的概念 信息科学是一门综合性学科,它是研究信息及其运动规律的科信息科学是一门综合性学科,它是研究信息及其运动规律的科学。学。其内容包括,信息的本质及其度量,信息的产生、获取、传播、其内容包括,信息的本质及其度量,信息的产生、获取、传播、处理和施效的规律;处理和施效的规律;研究的目的是扩展人类获取和利用信息的能力。研究的目的是扩展人类获取和利用信息的能力。信息技术是运用信息科学的研究成果来解决生产实际问题,具信息技术是运用信
7、息科学的研究成果来解决生产实际问题,具体内容包括:体内容包括:感测技术(信息获取)感测技术(信息获取)通信技术(信息传输)通信技术(信息传输)计算机技术(信息处理)计算机技术(信息处理)自动控制技术(信息施效)自动控制技术(信息施效)101.1 信息的概念信息的概念 信息产业是专门从事信息生产、传播、出售和服务信息产业是专门从事信息生产、传播、出售和服务的产业。包括:信息技术设备制造和信息服务等。的产业。包括:信息技术设备制造和信息服务等。111.1 信息的概念信息的概念1.1.2 信息的定义与分类信息的定义与分类 1.信息的定义信息的定义 信息就是信息,即不是物质也不是能量。(信息就是信息,
8、即不是物质也不是能量。(1948年,维纳)年,维纳)信息是事物之间的差异。(信息是事物之间的差异。(1975年,朗格)年,朗格)信息是物质和能量在时间和空间的不均匀性。信息是物质和能量在时间和空间的不均匀性。信息是物质的普遍属性。信息是物质的普遍属性。信息是集合的变异度。信息是集合的变异度。信息是一种场。信息是一种场。信息是系统的复杂性。信息是系统的复杂性。信息是事物相互作用的表现形式。信息是事物相互作用的表现形式。121.1 信息的概念信息的概念 信息是事物联系的普遍形式。信息是事物联系的普遍形式。信息是收信者事先所不知道的报导。信息是收信者事先所不知道的报导。信息是用以消除随机不定性的东西
9、。信息是用以消除随机不定性的东西。信息是使概率分布发生变动的东西。信息是使概率分布发生变动的东西。信息是负熵。信息是负熵。131.1 信息的概念信息的概念 信息的通俗概念信息的通俗概念 在日常生活中,信息常被认为是在日常生活中,信息常被认为是“消息消息”、“情情报报”、“知识知识”等。信息与它们有密切联系,但是信等。信息与它们有密切联系,但是信息的含义要更深刻、更广泛。息的含义要更深刻、更广泛。消息和消息并不是一回事,不能等同。消息和消息并不是一回事,不能等同。举例来说,有人告诉你一条消息,这条消息告诉了举例来说,有人告诉你一条消息,这条消息告诉了许多原来不知道的新内容,这条消息就很有意义,信
10、许多原来不知道的新内容,这条消息就很有意义,信息量就大;反之,如果这条消息告诉的是原来就已经息量就大;反之,如果这条消息告诉的是原来就已经知道的内容,那么这条消息意义就不大,信息量就小。知道的内容,那么这条消息意义就不大,信息量就小。141.1 信息的概念信息的概念 情报往往是军事、文献方面的习惯用词,含义要情报往往是军事、文献方面的习惯用词,含义要“信息信息”窄得多,它只是一种特定的信息;窄得多,它只是一种特定的信息;知识是一种具有普遍性和概括性质的高层次的信息。知识是一种具有普遍性和概括性质的高层次的信息。151.1 信息的概念信息的概念 消息是信息的载荷者,消息具有不同的形式,例如消息是
11、信息的载荷者,消息具有不同的形式,例如语言、文字、符号、数据、图片等,所有这些形式都语言、文字、符号、数据、图片等,所有这些形式都是能够被人们感觉到的。是能够被人们感觉到的。这些形式构成消息的条件有两个:这些形式构成消息的条件有两个:1.能够被通信双方理解;能够被通信双方理解;2.可以在通信中传递和交换。可以在通信中传递和交换。在日常生活中,我们得到是一些描述各种主客观事在日常生活中,我们得到是一些描述各种主客观事物运动状态或存在形式的具体消息。物运动状态或存在形式的具体消息。需要指出的是,同一个消息可以含有不同的消息量,需要指出的是,同一个消息可以含有不同的消息量,而同一信息可以用不同形式的
12、消息来载荷。而同一信息可以用不同形式的消息来载荷。161.1 信息的概念信息的概念 信号是消息的表现形式,消息则是信号的具体内容。信号是消息的表现形式,消息则是信号的具体内容。信号是消息的载体,是表示消息的物理量。信号是消息的载体,是表示消息的物理量。随时间而变化的电压或电流称为电信号。随时间而变化的电压或电流称为电信号。电信号和非电信号可以比较方便地相互转换。在实电信号和非电信号可以比较方便地相互转换。在实际应用中常常将各种物理量,如声波、光强度、机械际应用中常常将各种物理量,如声波、光强度、机械运动的位移或速度等,转变为电信号,以利于传输。运动的位移或速度等,转变为电信号,以利于传输。信号
13、携带信息,但不是信息本身。同样,同一信息信号携带信息,但不是信息本身。同样,同一信息可用不同的信号来表示;同一信号也可以表示不同的可用不同的信号来表示;同一信号也可以表示不同的信息。如:红、绿灯信号。信息。如:红、绿灯信号。在十字路口在十字路口 在电子仪器面板上在电子仪器面板上171.1 信息的概念信息的概念 信息不是消息,也不同于信号。三者是即有区别又信息不是消息,也不同于信号。三者是即有区别又有联系的三个不同的概念。有联系的三个不同的概念。信息是一个十分抽象而又复杂的概念。它包含在消信息是一个十分抽象而又复杂的概念。它包含在消息之中,是通信系统中传送的对象。息之中,是通信系统中传送的对象。
14、181.1 信息的概念信息的概念 信息是构成客观世界的三大要素之一信息是构成客观世界的三大要素之一 物质、能量和信息是构成客观世界的三大要素。物质、能量和信息是构成客观世界的三大要素。没有物质的世界是虚无的世界;没有物质的世界是虚无的世界;没有能量的世界是死寂的世界;没有能量的世界是死寂的世界;没有信息的世界是混乱的世界。没有信息的世界是混乱的世界。信息是物质的属性,信息虽不等同于物质本身,但信息是物质的属性,信息虽不等同于物质本身,但它不可能脱离物质而独立存在,必须以物质为载体,它不可能脱离物质而独立存在,必须以物质为载体,以能量为动力。三者相辅相成,缺一不可。以能量为动力。三者相辅相成,缺
15、一不可。信息是物质和能量在时间和空间中分布不均匀程度。信息是物质和能量在时间和空间中分布不均匀程度。191.1 信息的概念信息的概念 辞海辞海对信息作了如下解释:通信系统传输和处对信息作了如下解释:通信系统传输和处理的对象,泛指消息和信号的具体内容和意义。通常理的对象,泛指消息和信号的具体内容和意义。通常须通过处理和分析来提取。信息、物质和能量被称为须通过处理和分析来提取。信息、物质和能量被称为系统的三大要素。信息和物质的量值与信息的随机性系统的三大要素。信息和物质的量值与信息的随机性有关,如在接收端无法预估消息或信号中所蕴含的内有关,如在接收端无法预估消息或信号中所蕴含的内容或意义,即预估的
16、可能性越小,信息量就越大。容或意义,即预估的可能性越小,信息量就越大。科学技术大系科学技术大系信息是认识主体(人、生物、机信息是认识主体(人、生物、机器)所感受的或所表达的事物运动的状态和运动状态器)所感受的或所表达的事物运动的状态和运动状态变化的方式。信息是人们在适应外部世界和控制外部变化的方式。信息是人们在适应外部世界和控制外部世界的过程中,同外部世界进行交换的内容。世界的过程中,同外部世界进行交换的内容。201.1 信息的概念信息的概念 2.信息的分类信息的分类 研究信息的目的,就是要准确地把握信息的本质和研究信息的目的,就是要准确地把握信息的本质和特点,以便有效地利用信息。特点,以便有
17、效地利用信息。在众多的分类原则和方法中,最重要的就是按照信在众多的分类原则和方法中,最重要的就是按照信息性质的分类。按照性质的不同可以把信息划分成三息性质的分类。按照性质的不同可以把信息划分成三个基本类型:个基本类型:语法信息、语义信息和语用信息语法信息、语义信息和语用信息 其中最基本也是最抽象的类型是语法信息。它是迄其中最基本也是最抽象的类型是语法信息。它是迄今为止在理论上研究最多的类型。今为止在理论上研究最多的类型。211.1 信息的概念信息的概念信息分类有许多不同的准则和方法:信息分类有许多不同的准则和方法:按照信息的性质,可以分成语法信息、语义信息和语用信息。按照信息的性质,可以分成语
18、法信息、语义信息和语用信息。按照观察的过程,可以分成实在信息、先验信息和实得信息。按照观察的过程,可以分成实在信息、先验信息和实得信息。按照信息的地位,可以分成客观信息和主观语用信息。按照信息的地位,可以分成客观信息和主观语用信息。按照信息的作用,可以分成有用信息、无用信息和干扰信息。按照信息的作用,可以分成有用信息、无用信息和干扰信息。按照信息的逻辑意义,可以分成真实信息、虚假信息和不定信息。按照信息的逻辑意义,可以分成真实信息、虚假信息和不定信息。按照信息的传递方向,可以分成前馈信息和反馈信息。按照信息的传递方向,可以分成前馈信息和反馈信息。按照信息的生成领域,可以分成宇宙信息、自然信息、
19、社会信息和按照信息的生成领域,可以分成宇宙信息、自然信息、社会信息和思维信息。思维信息。按照信息的应用部门,可以分成工业信息、农业信息、军事信息、按照信息的应用部门,可以分成工业信息、农业信息、军事信息、政治信息、科技信息、文化信息、经济信息、市场信息和管理信政治信息、科技信息、文化信息、经济信息、市场信息和管理信息息221.1 信息的概念信息的概念 语法信息是事物运动的状态和状态改变方式本身。它不涉及这语法信息是事物运动的状态和状态改变方式本身。它不涉及这些状态的含义和效用,是最抽象最基本的层次。它只研究事物运些状态的含义和效用,是最抽象最基本的层次。它只研究事物运动各种可能出现的状态,以及
20、状态之间的关系。动各种可能出现的状态,以及状态之间的关系。香农的信息定义正是属于这个层次,是从概率统计角度来研究香农的信息定义正是属于这个层次,是从概率统计角度来研究事物运动各种可能出现的状态及状态之间的关系,因此是概率性事物运动各种可能出现的状态及状态之间的关系,因此是概率性的语法信息。的语法信息。语义信息是事物运动的状态和方式的具体含义。研究信息的具语义信息是事物运动的状态和方式的具体含义。研究信息的具体含义。体含义。语用信息是事物运动的状态和方式对观测者的效用,或者是相语用信息是事物运动的状态和方式对观测者的效用,或者是相对于某种目的的效用。它研究事物运动的状态和方式与使用者的对于某种目
21、的的效用。它研究事物运动的状态和方式与使用者的关系,即研究信息的主观价值。关系,即研究信息的主观价值。231.1 信息的概念信息的概念1.1.3 信息的特征与性质信息的特征与性质 1.信息的特征信息的特征 信息是无形的信息是无形的 信息是信息是“活活”的的 信息来源于客观事物,人们能够直接或间接感知它,信息来源于客观事物,人们能够直接或间接感知它,它是人脑思维活动的反映,可以说,人脑是信息的主它是人脑思维活动的反映,可以说,人脑是信息的主要载体。它是动态的,有很强的时间性,如:股票市要载体。它是动态的,有很强的时间性,如:股票市场信息,瞬息万变,只有及时把握有效的信息才能获场信息,瞬息万变,只
22、有及时把握有效的信息才能获得信息的最佳价值。得信息的最佳价值。信息是可共享的信息是可共享的 信息是可扩充的信息是可扩充的241.1 信息的概念信息的概念 信息是能产生实效的信息是能产生实效的 信息是可以处理的信息是可以处理的 信息是可度量的信息是可度量的 信息是可以快速传播并扩散信息是可以快速传播并扩散 信息作为一种资源,它的无限性、共享性和开放性,信息作为一种资源,它的无限性、共享性和开放性,使它对于人类具有特别重要的意义。使它对于人类具有特别重要的意义。251.1 信息的概念信息的概念 1)信息是无形的信息是无形的 信息不同于物质和能量,它是看不见、摸不着的,信息不同于物质和能量,它是看不
23、见、摸不着的,它不具有实体性。它不具有实体性。信息是一个十分抽象的概念。信息本身是看不见、信息是一个十分抽象的概念。信息本身是看不见、摸不着的,它必须依附于一定的物质形式,如文字、摸不着的,它必须依附于一定的物质形式,如文字、声波、电磁波等。这种运载信息的物质,称为信息的声波、电磁波等。这种运载信息的物质,称为信息的载体。一切物质都有可能成为信息的载体。载体。一切物质都有可能成为信息的载体。物质、能量是有形的资源,而信息却是一种抽象的、物质、能量是有形的资源,而信息却是一种抽象的、无形的资源。然而,有效开发利用信息资源,能够促无形的资源。然而,有效开发利用信息资源,能够促使我们更加有效、更大规
24、模的开发利用物质资源。使我们更加有效、更大规模的开发利用物质资源。261.1 信息的概念信息的概念 2)信息是可共享的信息是可共享的 信息是可共享的信息是可共享的 信息的交流不会使交流者失去原有的信息,且还可以获得新的信息。信息的交流不会使交流者失去原有的信息,且还可以获得新的信息。信息共享是无限的信息共享是无限的 信息可以由甲传递给乙,又可以由乙传递给丙,信息可以由甲传递给乙,又可以由乙传递给丙,信息的共享性,对人类社会的发展起到了积极推动作用。信息的共享性,对人类社会的发展起到了积极推动作用。信息扩散越快、越广,就会加速人类社会的文明进程。信息扩散越快、越广,就会加速人类社会的文明进程。但
25、是,现实的人类社会在各方面都存在着激烈的竞争,例如军事中但是,现实的人类社会在各方面都存在着激烈的竞争,例如军事中的电子综合战、商业活动中的市场竞争等。这些现象阻碍了信息性质的电子综合战、商业活动中的市场竞争等。这些现象阻碍了信息性质的发挥。的发挥。信息虽具有共享性,原占有者不会因信息传递而丢失这个信息,但信息虽具有共享性,原占有者不会因信息传递而丢失这个信息,但占有者和获得者可以利用同一个信息进行竞争和对抗。因此,在信息占有者和获得者可以利用同一个信息进行竞争和对抗。因此,在信息占有和传播方面,存在着斗争。为了限制信息的共享,加设密码、数占有和传播方面,存在着斗争。为了限制信息的共享,加设密
展开阅读全文