《信息论基础》课件第7章 限失真信源编码.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《《信息论基础》课件第7章 限失真信源编码.ppt》由用户(momomo)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论基础 信息论基础课件第7章 限失真信源编码 信息论 基础 课件 失真 信源 编码
- 资源描述:
-
1、主要内容主要内容 信源的失真测度信源的失真测度 信息率失真函数信息率失真函数 香农第三定理香农第三定理 限失真信源编码方法限失真信源编码方法无失真信源编码和有噪信道编码告诉我们:无失真信源编码和有噪信道编码告诉我们:l只要信道的信息传输速率小于信道容量,总能只要信道的信息传输速率小于信道容量,总能找到一种编码方法找到一种编码方法,使得在该信道上的信息传输的使得在该信道上的信息传输的差错概率任意小;差错概率任意小;l反之,若信道的信息传输速率大于信道容量,反之,若信道的信息传输速率大于信道容量,则不可能使信息传输差错概率任意小。则不可能使信息传输差错概率任意小。l但是,无失真的编码并非总是必要的
2、。但是,无失真的编码并非总是必要的。香农首先定义了信息率失真函数香农首先定义了信息率失真函数R(D),并论述,并论述了关于这个函数的基本定理。了关于这个函数的基本定理。定理指出:在允许一定失真度定理指出:在允许一定失真度D D的情况下,信源的情况下,信源输出的信息传输率可压缩到输出的信息传输率可压缩到R(D)R(D)值,这就从理论上值,这就从理论上给出了信息传输率与允许失真之间的关系,奠定了给出了信息传输率与允许失真之间的关系,奠定了信息率失真理论的基础。信息率失真理论的基础。信息率失真理论是进行量化、数模转换、频带信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。压缩和数据压
3、缩的理论基础。1 1 失真度失真度 从直观感觉可知,若允许失真越大,信息传输率可从直观感觉可知,若允许失真越大,信息传输率可 越小;若允许失真越小,信息传输率需越大。越小;若允许失真越小,信息传输率需越大。所以信息传输率与信源编码所引起的失真所以信息传输率与信源编码所引起的失真(或误差或误差)是有关的。是有关的。首先讨论首先讨论失真的测度失真的测度。离散无记忆信源离散无记忆信源U,信源变量,信源变量Uu1,u2,ur,概率分布为概率分布为P(u)P(u1),P(u2),P(ur)。信源符号通过信道传输到某接收端,接收端的信源符号通过信道传输到某接收端,接收端的接收变量接收变量V v1,v2,v
4、s。对应于每一对对应于每一对(u,v),我们指定一个非负的函数:,我们指定一个非负的函数:称为单个符号的失真度(或失真函数)。通常较小的d值代表较小的失真,而d(ui,vj)0表示没有失真。jijivudji)0(0),(若信源变量U有r个符号,接收变量V有s个符号,则d(ui,vj)就有rs个,它可以排列成矩阵形式,即:它为失真矩阵D,是 rs 阶矩阵。),(.),(),(:.:),(.),(),(),(.),(),(212221212111srrrssvudvudvudvudvudvudvudvudvudD须强调须强调:这里这里假设假设U U是信源,是信源,V V是信宿,那么是信宿,那么U
5、 U和和V V之间必之间必有信道。有信道。实际实际这里这里U U指的是原始的未失真信源,而指的是原始的未失真信源,而V V是指失真以后是指失真以后的信源。的信源。因此,从因此,从U U到到V V之间实际上是失真算法,所以这里的转移之间实际上是失真算法,所以这里的转移概率概率p(vp(vj j/u/ui i)是指一种失真算法,是指一种失真算法,有时又把有时又把p(vp(vj j/u/ui i)称为称为试验信道试验信道的转移概率,如图所示。的转移概率,如图所示。原始信源失真信源试验信道信道UVp(vj/ui)例例1 离散对称信源离散对称信源(r=s)。信源变量。信源变量Uu1,u2,ur,接收变量
6、接收变量V v1,v2,vs。定义单个符号失真度:。定义单个符号失真度:这种失真称为汉明失真。汉明失真矩阵是一方阵,对角线上的元素为零,即:jijijivuvuvud10),(rrD0.11:.:1.011.100110D 例例2 删除信源删除信源。信源变量。信源变量Uu1,u2,ur,接收变量,接收变量V v1,v2,vs(s=r+1)。定义其单个符号失真度为:。定义其单个符号失真度为:其中接收符号其中接收符号vs作为一个删除符号。作为一个删除符号。在这种情况下,意味着若把信源符号再现为删除符在这种情况下,意味着若把信源符号再现为删除符号号vs时,其失真程度要比再现为其他接收符号的失时,其失
7、真程度要比再现为其他接收符号的失真程度少一半。真程度少一半。则02111210Dsjjijivudji 2/110),(除j=s以外所有的j和i所有i 例例3 对称信源对称信源(s=r)。信源变量。信源变量Uu1,u2,ur,接收变,接收变量量V v1,v2,vs。失真度定义为:。失真度定义为:若信源符号代表信源输出信号的幅度值,这就是一种若信源符号代表信源输出信号的幅度值,这就是一种以方以方差表示的失真度差表示的失真度。它意味着幅度差值大的要比幅度差值小的所。它意味着幅度差值大的要比幅度差值小的所引起的失真更为严重,严重程度用平方来表示。引起的失真更为严重,严重程度用平方来表示。当当 r3时
8、,时,U0,1,2,V0,1,2,则失真矩阵为:,则失真矩阵为:2)(),(ijjiuvvud014101410D 上述三个例子三个例子说明了具体失真度的定义。一般情况下根据实际信源的失真,可以定义不同的失真和误差的度量。另外还可以按其他标准,如引起的损失、风险、主观感觉上的差别大小等来定义失真度d(u,v)。2 2 平均失真度平均失真度 信源 U 和信宿 V 都是随机变量,故单个符号失真度d(ui,vj)也是随机变量。显然,规定了单个符号失真度d(ui,vj)后,传输一个符号引起的平均失真,即信源平均失真度:在离散情况下,信源Uu1,u2,ur,其概率分布P(u)P(u1),P(u2),P(
9、ur),信宿V v1,v2,vs。若已知试验信道的传递概率为P(vj/ui)时,则平均失其度为:),(),(vudEvudEDji),()/()(),()(11jirisjijiUVvuduvPuPvuduvPD 平均失真度平均失真度D不大于我们所允许的失真不大于我们所允许的失真D,即:,即:D D 称此为称此为保真度准则保真度准则。信源固定(给定P(u),单个符号失真度固定时(给定d(ui,vj),选择不同试验信道,相当于不同的编码方法,所得的平均失真度是不同的。凡满足保真度准则-平均失真度D D的试验信通称为-D失真许可的试验信道。把所有D失真许可的试验信道组成一个集合,用符号BD表示,即
10、:BD=P(vj/ui):D D7.2 7.2 信息率失真函数信息率失真函数1 D失真许可信道7.2 7.2 信息率失真函数信息率失真函数2 2 信息率失真函数的定义信息率失真函数的定义 信源给定,且又具体定义了失真函数以后,总希望在满足一定失真的情况下,使信源传输给收信者的信息传输率R尽可能地小。即在满足保真度准则下,寻找信源必须传输给收信者的信息率R的下限值-这个下限值与D有关。从接收端来看,就是在满足保真度准则下,寻找再现信源消息所必须获得的最低平均信息量。而接收端获得的平均信息量可用平均互信息I(U;V)来表示,这就变成了在满足保真度准则的条件下,寻找平均互信息I(U;V)的最小值。寻
11、找平均互信息I(U;V)的最小值。而BD是所有满足保真度准则的试验信道集合,因而可以在D失真许可的试验信道集合BD中寻找一个信道P(vj/ui),使I(U;V)取极小值。由于平均互信息I(U;V)是P(vj/ui)的U型凸函数,所以在BD集合中,极小值存在。这个最小值就是在D D的条件下,信源必须传输的最小平均信息量。即:);()(min)/(VUIDRDijBuvPR(D)-信息率失真函数或简称率失真函数。单位是奈特信源符号 或 比特信源符号 率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系,其逆函数称为失真率函数,表示一定信息速率下所可能达到的最小的平均失真。二、二、3 3 信息率
12、失真函数的性质信息率失真函数的性质 允许失真度D的下限可以是零,即不允许任何失真的情况。R(D)的定义域 且:minmax0DDDmin()min(,)yxDp xd x ymaxmin()(,)yxDp x d x yR R(D D)的定义域的定义域 率失真的定义域问题就是在信源和失真函数已知率失真的定义域问题就是在信源和失真函数已知的情况下的情况下,讨论允许讨论允许平均失真度平均失真度D D的的最小最小和和最大最大取取值问题。值问题。由于平均失真度是非负实数由于平均失真度是非负实数d d(x xi i,y yj j)的数学期望的数学期望,因此也是非负的实数因此也是非负的实数,即即 的的下界
13、是下界是0 0。w 允许平均失真度能否达到其下限值允许平均失真度能否达到其下限值0,0,与单个符号与单个符号的失真函数有关。的失真函数有关。DD,0R(D)R(D)的定义域的定义域D Dmin min 和和R R(D Dminmin)信源的最小平均失真度:信源的最小平均失真度:w 只有当失真矩阵的每一行至少有一个只有当失真矩阵的每一行至少有一个0 0元素时元素时,信源的信源的平均失真度平均失真度才能达到下限值才能达到下限值0 0。w 当当D Dmin min=0,=0,即信源不允许任何失真时即信源不允许任何失真时,信息率信息率至少应等于信源输出的平均信息量至少应等于信源输出的平均信息量信息熵。
14、信息熵。即即 R R(0)=(0)=H H(X X)min1()min(,)niijjiDp xd x yR(D)R(D)的定义域的定义域w 因为实际信道总是有干扰的因为实际信道总是有干扰的,其容量有限其容量有限,要无要无失真地传送连续信息是不可能的。失真地传送连续信息是不可能的。w 当允许有一定失真时当允许有一定失真时,R R(D D)将为有限值将为有限值,传送才传送才是可能的。是可能的。w 对于连续信源:对于连续信源:min0()lim()DR DR D R(D)R(D)的定义域为的定义域为DDminmin,D Dmaxmax 。通常通常D Dminmin=0=0,R R(D Dminmi
15、n)=)=H H(X X)当当 D DD Dmaxmax时时,R R(D D)=0)=0 当当 0 0 D DD Dmaxmax时时,0,0R R(D D)H H(X X)R(D)R(D)的定义域的定义域D Dmaxmax:定义域的:定义域的上限上限。D Dmaxmax是满足是满足R R(D D)=0)=0时所时所有的平均失真度中的有的平均失真度中的最最小值小值。w 由于由于I I(X,YX,Y)是非负函数是非负函数,而而R R(D D)是在约束条件下是在约束条件下的的I I(X,YX,Y)的最小值的最小值,所以所以R R(D D)也是一个非负函数也是一个非负函数,它的下限值是零。它的下限值是
16、零。R R(D D)0)0max()0minR DDDR(D)R(D)的定义域的定义域由于由于I I(X,YX,Y)=0)=0的充要条件是的充要条件是X X与与Y Y统计独立统计独立,即:即:)()|(jijypxypmax()()min()()(,)min()()(,)jjijijp yijjiijp yjiDp x p y d x yp yp x d x y max1,21min()(,)niijjmiDp x d x yR(D)R(D)的定义域的定义域 例例:设输入输出符号表为设输入输出符号表为X=Y=0,1,X=Y=0,1,输入概率输入概率分布分布p p(x x)=1/3,2/3,)=
展开阅读全文