信源与信息熵课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《信源与信息熵课件.ppt》由用户(ziliao2023)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信源 信息 课件
- 资源描述:
-
1、第第2章章 信源与信息熵信源与信息熵 信源是信息的来源。例如声音、文字、图像和数据信源是信息的来源。例如声音、文字、图像和数据等。等。在信息论中,信源是产生消息在信息论中,信源是产生消息(符号符号)、消息、消息(符号符号)序序列和连续消息的来源;信源输出是以符号形式出现列和连续消息的来源;信源输出是以符号形式出现的具体消息。的具体消息。客观信源的基本特性是具有客观信源的基本特性是具有随机、不确定随机、不确定性。当出现的符号性。当出现的符号是随机的,才能载荷信息。如果符号是确定的且已知,那么是随机的,才能载荷信息。如果符号是确定的且已知,那么该消息就没有包含信息。从数学上看,由于信息的不确定性,
2、该消息就没有包含信息。从数学上看,由于信息的不确定性,信源可以认为是产生随机变量、随机向量信源可以认为是产生随机变量、随机向量/矢量、随机序列和矢量、随机序列和随机过程的源。随机过程的源。同时,符号的出现具有一定的同时,符号的出现具有一定的规律性规律性,所以可以使用随机变,所以可以使用随机变量或者随机向量量或者随机向量/矢量等数学理论来研究信息,这就是香农信矢量等数学理论来研究信息,这就是香农信息论的基本点。息论的基本点。在经典的香农信息论中,讨论信源的概率统计特性和基于此在经典的香农信息论中,讨论信源的概率统计特性和基于此的客观概率信息。的客观概率信息。2.1 信源的描述与分类信源的描述与分
3、类 实际应用中分析信源所采用的方法往往要由信源的实际应用中分析信源所采用的方法往往要由信源的特性而定。特性而定。不同类型的信源采用不同的数学模型进行表示。不同类型的信源采用不同的数学模型进行表示。概率论的常用公式概率论的常用公式 mjjijiijnijijijijijiijijijjijijijimjijinijjimjnijimjijnijimjjniijiijjijiminiyxpyxpxypyxpyxpyxpypxpyxpxpyxpypxypYXyxpypxypxpyxpxpyxpypyxpyxpxypyxpypxpyxpxypyxpypxpyyyyxxxxYX1111111111212
4、1)()()/(,)()()/()6()()()(),()/(),()/(,)5()/()()/()()()4()()(),()()3(1)(,1)/(,1)/(,1)(,1)()2(1)(),/(),/(),(,)(0)1(:,相互独立时与当和分别取值于集合随机变量 随机变量的随机变量的数学期望数学期望E:离散型离散型随机变量随机变量E(X)=Xi*P(Xi)连续型连续型随机变量随机变量 全概率全概率公式:公式:P(Y)=P(XiY)=P(Xi)*P(Y|Xi)贝叶斯贝叶斯公式:公式:P(Xi|Y)=P(Xi)*P(Y|Xi)/P(Xi)*P(Y|Xi)信源的分类信源的分类离散离散连续连续1
5、.单符号单符号多符号多符号2.无记忆无记忆有记忆有记忆3.信源的分类信源的分类1 按照信源发出的消息在时间上和幅度上的分布情况按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类。可将信源分成离散信源和连续信源两大类。离散信源离散信源是指发出是指发出时间和幅度时间和幅度上都是上都是离散离散分布的离分布的离散消息的信源,如文字、数字、数据等符号都是离散消息的信源,如文字、数字、数据等符号都是离散消息。散消息。连续信源连续信源是指发出在是指发出在时间或幅度时间或幅度上是上是连续连续分布的连分布的连续续/模拟消息的信源,如语音、图像、图形等都是连模拟消息的信源,如语音、图
6、像、图形等都是连续消息。续消息。信源的分类信源的分类2 根据信源发出的根据信源发出的符号数目符号数目可以分为发出单个符号和发出多个可以分为发出单个符号和发出多个符号的信源。符号的信源。发出发出单个符号单个符号的信源是指信源每次只发出一个符号代表一个的信源是指信源每次只发出一个符号代表一个消息。消息。(例如:一次红绿灯的消息、一次投掷硬币的结果。例如:一次红绿灯的消息、一次投掷硬币的结果。)信信源用随机变量的概率分布空间源用随机变量的概率分布空间(离散离散)或者概率分布密度空间或者概率分布密度空间(连续连续)来表示。来表示。发出发出符号序列符号序列的信源是指信源每次发出一组含二个以上的符的信源是
7、指信源每次发出一组含二个以上的符号序列代表一个消息。号序列代表一个消息。(例如:两次红绿灯的消息、两次投掷例如:两次红绿灯的消息、两次投掷硬币的结果、硬币的结果、一次红绿灯消息加上一次投掷硬币的结果。一次红绿灯消息加上一次投掷硬币的结果。)信信源用随机向量源用随机向量/矢量、随机序列或者随机过程来表示。矢量、随机序列或者随机过程来表示。信源的分类信源的分类3 对于发出对于发出的信源的信源(多符号、符号序列信源多符号、符号序列信源):按照信源发出的多个符号彼此之间是否存在按照信源发出的多个符号彼此之间是否存在关联关联,还可分为无记忆信源和有记忆信源。还可分为无记忆信源和有记忆信源。无记忆无记忆信
8、源是指所发出的各个符号之间是相互独立信源是指所发出的各个符号之间是相互独立的,发出的符号序列中的各个符号之间没有统计关的,发出的符号序列中的各个符号之间没有统计关联性,各个符号的出现概率是它自身的联性,各个符号的出现概率是它自身的先验先验概率。概率。(例如,有放回、两次摸球。例如,有放回、两次摸球。)有记忆有记忆信源是指发出的各个符号之间不是相互独立信源是指发出的各个符号之间不是相互独立的,各个符号出现的概率是有关联的。的,各个符号出现的概率是有关联的。(例如,无放例如,无放回、两次摸球。回、两次摸球。)2.1.1 无记忆信源无记忆信源 单符号、无记忆、离散信源单符号、无记忆、离散信源 发出单
9、个符号的、无记忆、离散信源发出单个符号的、无记忆、离散信源:输出的都是单个符号:输出的都是单个符号的消息,出现的消息数是有限的且只可能是符号集中的一种,的消息,出现的消息数是有限的且只可能是符号集中的一种,即符合完备性。若各符号出现的概率已知,则该信源就确定即符合完备性。若各符号出现的概率已知,则该信源就确定了;反之,信源已知,则各符号出现的概率就确定了。了;反之,信源已知,则各符号出现的概率就确定了。所以信源出现的符号及其概率分布就决定了信源。数学模型:所以信源出现的符号及其概率分布就决定了信源。数学模型:离散随机变量的分布列离散随机变量的分布列/二元有序对。二元有序对。)(,),(),(,
10、)(2121qqaPaPaPaaaxPX1)(1)(0:1qiiiaPaP且满足 例如:对二进制数字与数据信源、投掷硬币等:例如:对二进制数字与数据信源、投掷硬币等:010,10,111,22Uppp单符号、无记忆、连续信源单符号、无记忆、连续信源 发出单个符号的、无记忆、连续信源发出单个符号的、无记忆、连续信源:有些输出的:有些输出的消息也是单个符号,但是符号取值或者消息的数量消息也是单个符号,但是符号取值或者消息的数量是无限的。是无限的。(例如,测量一节电池的电压。例如,测量一节电池的电压。)数学模型:连续随机变量的取值范围和概率分布密数学模型:连续随机变量的取值范围和概率分布密度函数。度
11、函数。1)(1)()()(),()(RbadxxpdxxpxpRxpbaxpX或并满足或 在有些情况下,可以将符号的连续取值进行在有些情况下,可以将符号的连续取值进行量化量化或或离散化离散化,将符号取值转换成有限的或可数的离散值,将符号取值转换成有限的或可数的离散值,从而就可以把连续信源转换成离散信源来处理。从而就可以把连续信源转换成离散信源来处理。多符号的序列信源多符号的序列信源 实际上,很多离散信源每次发出的消息总是由实际上,很多离散信源每次发出的消息总是由2个以个以上的符号序列上的符号序列构成。构成。描述一个符号需要一个离散型或连续型随机变量,描述一个符号需要一个离散型或连续型随机变量,
12、所以描述此类多符号信源发出的符号序列构成的消所以描述此类多符号信源发出的符号序列构成的消息应该使用时间或空间上离散的一系列随机变量,息应该使用时间或空间上离散的一系列随机变量,即即随机向量随机向量/矢量矢量。这样,信源的输出可用。这样,信源的输出可用N维维随机随机向量向量/矢量矢量 X=(X1,X2,Xl,XN)来描述,其中来描述,其中N可为有限正整数或可数的无限值。可为有限正整数或可数的无限值。最简单的多符号信源是最简单的多符号信源是二阶信源二阶信源。注意理解:各个随机变量的概率空间可能相同,也注意理解:各个随机变量的概率空间可能相同,也可能可能。例如:两次红绿灯的消息、两次投掷硬币的结果、
13、例如:两次红绿灯的消息、两次投掷硬币的结果、有放回的两次摸球的结果;一次红绿灯消息加上一有放回的两次摸球的结果;一次红绿灯消息加上一次投掷硬币的结果、无放回的两次摸球的结果。次投掷硬币的结果、无放回的两次摸球的结果。最常见的情况是各个符号对应的随机变量来自最常见的情况是各个符号对应的随机变量来自相同相同的的概率分布空间。比如:数字通信系统处理的源源概率分布空间。比如:数字通信系统处理的源源不断的多个消息或符号都是不断的多个消息或符号都是0、或者、或者1。N次次(N重重)扩展信源扩展信源 在随机向量在随机向量/矢量中,若每个离散随机变量矢量中,若每个离散随机变量 Xi(i=1,2,l,N)都是来
14、自于都是来自于同一个概率空间同一个概率空间,则可用,则可用N次次(N重重)离散离散概率空间来描述这类信源。即若概率空间来描述这类信源。即若N维随机向量维随机向量X=(X1,X2,Xl,XN)中中 XiX=(X1,X2,Xq)(i=1,2,l,N)则则 X=(X1,X2,Xl,XN)XN 相应的信源称之为离散无记忆信源相应的信源称之为离散无记忆信源X的的N次次(N重重)扩展扩展信源信源。信源的信源的N重概率空间为:重概率空间为:这个空间共有这个空间共有qN个元素。个元素。(对照:教材对照:教材P9。)()()()()(111111qqqqqqNaaapaaapaaaaaaxpX多符号、无记忆、离
15、散信源多符号、无记忆、离散信源 在某些简单的情况下,信源先后发出的一个个符号在某些简单的情况下,信源先后发出的一个个符号彼此是彼此是统计独立统计独立的,则的,则N维随机向量的联合概率分布维随机向量的联合概率分布满足满足 即即N维随机向量的维随机向量的联合概率分布可用随机向量中单个联合概率分布可用随机向量中单个随机变量的概率乘积随机变量的概率乘积来表示。来表示。这种信源就是这种信源就是发出多个符号发出多个符号(符号序列符号序列)的的、无记忆、无记忆、离散信源离散信源。NiixpXp1)()(无记忆、无记忆、N重扩展信源重扩展信源 对于来自于同一个单符号信源、连续发出多个符号、符号之对于来自于同一
16、个单符号信源、连续发出多个符号、符号之间无记忆、消息间无记忆、消息长度为长度为N的、随机序列构成的的、随机序列构成的N重扩展信源重扩展信源,数学模型为:发出单个符号的无记忆离散数学模型为:发出单个符号的无记忆离散信源信源X概率空间的概率空间的N重空间重空间(N长的随机序列样本空间和概率分布空间长的随机序列样本空间和概率分布空间):NNkkkkNNNNqiqiNiiiNiiiiiiNiiiiqqiNaPPaPaaaPPqiiiaaaPPPPX11112121211)()()()()(),2,1,()()(,),(),(,)(2121并满足:其中2.1.2 有记忆信源有记忆信源 多符号、有记忆、离
17、散信源多符号、有记忆、离散信源 发出符号序列的发出符号序列的有记忆有记忆离散信源离散信源:有的多符号信源:有的多符号信源输出的随机序列输出的随机序列X中各随机变量之间存在中各随机变量之间存在依赖依赖关系或关系或者说此类信源先后发出的符号之间是互相依赖的。者说此类信源先后发出的符号之间是互相依赖的。例如在中文字母组成的中文消息中,前后文字的出例如在中文字母组成的中文消息中,前后文字的出现是有依赖的,不能认为是彼此不相关的,放在现是有依赖的,不能认为是彼此不相关的,放在N维维随机向量的联合概率分布中,就必然要引入随机向量的联合概率分布中,就必然要引入联合概联合概率率或或条件概率条件概率分布来说明它
展开阅读全文