问题假设已给定信源概率Pi和失真函数dij在约束条件下课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《问题假设已给定信源概率Pi和失真函数dij在约束条件下课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 问题 假设 给定 信源 概率 Pi 失真 函数 dij 约束 条件下 课件
- 资源描述:
-
1、2022-12-171 问题问题:假设已给定信源概率假设已给定信源概率Pi和失和失真函数真函数dij,在约束条件下,求信,在约束条件下,求信源的源的R(D)函数的极小值问题)函数的极小值问题?第二节 离散信源和连续信源的R(D)计算2022-12-172 R(D)三种特殊表示)三种特殊表示(1)当当d(x,y)=(x-y)2,p(x)=时,时,R(D)=(2)当当d(x,y)=p(x)=时,时,R(D)=)2exp(2122xDlog,yx xe2D1log2022-12-173(3)当当D(x,y)=时,时,R(D)=H(p)-H(D)R(D)曲线见图)曲线见图4-2-1pxppxpyx1)
2、1(,)0(),(2022-12-174这些这些R(D)可画成三条曲线)可画成三条曲线 0 Dmax D R(D)H(3)(1)(2)图图4-2-1 信息率失真函数信息率失真函数R(D)2022-12-175分析:分析:(1)它们都有一最大失真值它们都有一最大失真值 Dmax对应对应 R(D)0。当允许的平均失真。当允许的平均失真D大于这最大大于这最大值时,值时,R(D)当然也是零,也就是不用传送)当然也是零,也就是不用传送信息已能达到要求。上述三种情况的信息已能达到要求。上述三种情况的 Dmax分别分别为为 和和p(若(若p1/2,不然就是,不然就是1-p)/1,22022-12-176 (
3、2)当当DDmax时,时,R(D)就已不是零,随着)就已不是零,随着D的减小,的减小,R(D)单调地增加;)单调地增加;(3)当当D=0,前两种情况下,前两种情况下R(D)趋于无限,)趋于无限,这就是说,大于信息量无限大的连续信源符这就是说,大于信息量无限大的连续信源符号,无法进行无损编码,除非信息率号,无法进行无损编码,除非信息率R趋向趋向无限大。对于离散信源就不同,在第三种情无限大。对于离散信源就不同,在第三种情况下,况下,D=0时,时,R(0)=H(p),这就是无),这就是无损编码时,所需的信息率不能小于信源的符损编码时,所需的信息率不能小于信源的符号熵。号熵。2022-12-177例例
4、421 设输人输出符号表为设输人输出符号表为XY=0,1,输入,输入概率分布概率分布P(x)P,l一一p,0p,失真,失真矩阵为矩阵为 0110),(),(),(),(22122111yxdyxdyxdyxdd 求信息率失真函数求信息率失真函数R(D)。)。2022-12-178解解:(1)按下式解方程按下式解方程 2,1,),(),(),(jieypxppxsjjiiii 简记简记 写成矩阵形式写成矩阵形式 ijiiimjyxsdxpx,1,1),(exp)()()11(11)(2211pp2022-12-179(2)按下式解方程按下式解方程 由此解得由此解得 )1)(1(1,)1(1,11
5、212211ppppjijijnixyxsdyp,1,)(1),(exp)(2022-12-1710写成矩阵形式写成矩阵形式 2121/1/111ww解得解得 1 11)1(11)1(11)1(1112222121ppwppw2022-12-1711(3)按下式得转移概率分布按下式得转移概率分布Pijmjniyxsdypxpjijiij,1;,1),(exp)()(写成矩阵形式写成矩阵形式 ppppppppppppP111)1(1)1(1122022-12-1712(4)求求)1log(loglog1,11)1()1(11222222212121212111111DDsDDDppppdppdp
6、pdppdppdppDijijiji)log(ss2022-12-1713(5)计算计算R(D),将上面各式代入,则有),将上面各式代入,则有)()1log()1(log)(11log1log)1log()(1log)1)(1(1log)1()1(1log1loglog)(pHDDDDpHDDDDpHDDDppppDDDpsDDRiii2022-12-1714结果得到如图结果得到如图4-2-2所示的曲线:所示的曲线:pDpDDHpHDR,02/10),()()(2022-12-1715 0.1 0.2 0.3 0.4 0.5 D1.00.80.60.40.20.0R(D)/bitp=0.5p=
7、0.3p=0.2p=0.1图图4-2-2 R(D)=H(p)H(D),p为参数为参数2022-12-1716限失真信源编码定理:限失真信源编码定理:设离散无记忆信源设离散无记忆信源X的信息率失真函数为的信息率失真函数为R(D),则当信息率),则当信息率RR(D),只要信),只要信源序列长度源序列长度 L足够长,一定存在一种编码方足够长,一定存在一种编码方法,其译码失真小于或等于法,其译码失真小于或等于D ,为任为任意小的正数;反之,若意小的正数;反之,若RR(D),则无论),则无论采用什么样的编码方法采用什么样的编码方法,其译码失真必大于其译码失真必大于D。第三节 限失真信源编码定理 2022
8、-12-1717 说明说明:(1)如果是二元信源,对于任意小的如果是二元信源,对于任意小的 0,每一,每一个信源符号的平均码长满足如下公式个信源符号的平均码长满足如下公式则则 在失真限度内使信息率任意接近在失真限度内使信息率任意接近R(D)的编码方法存在。)的编码方法存在。)()(DRKDR(2)该定理只能说明最佳编码是存在的,而具该定理只能说明最佳编码是存在的,而具体构造编码方法却一无所知,因而就不能体构造编码方法却一无所知,因而就不能像无损编码那样从证明过程中引出概率匹像无损编码那样从证明过程中引出概率匹配的编码方法。一般只能从优化的思路去配的编码方法。一般只能从优化的思路去求最佳编码。实
9、际上,迄今尚无合适的可求最佳编码。实际上,迄今尚无合适的可实现的编码方法来接近实现的编码方法来接近R(D)这个界。)这个界。2022-12-17184.4.1 游程编码游程编码 游程编码基本思想游程编码基本思想:将任何将任何(二元二元)序列变换成一一对应的序列变换成一一对应的游程长度序列,按哈夫曼编码或其他方游程长度序列,按哈夫曼编码或其他方法处理以达到压缩码率的目的法处理以达到压缩码率的目的.第四节 常用信源编码方法简介2022-12-1719 什么叫二元序列游程和游程长度什么叫二元序列游程和游程长度?在二元序列中,只有两种符号,即在二元序列中,只有两种符号,即“0”和和“1”,这些符号可连
10、续出现,连,这些符号可连续出现,连“0”这一段称这一段称为为“0”游程,连游程,连“1”这一段称为这一段称为“1”游程。它游程。它们的长度分别称为游程长度们的长度分别称为游程长度L(0)和)和L(l)。)。“0”游程和游程和“l”游程总是交替出现的。如果规游程总是交替出现的。如果规定二元序列是以定二元序列是以“0”开始,第一个游程是开始,第一个游程是“0”游程,第二个必为游程,第二个必为“1”游程,第三个又是游程,第三个又是“0”游程等等。对于随机的二元序列,各游程长度游程等等。对于随机的二元序列,各游程长度将是随机变量,其取值可为将是随机变量,其取值可为1,2,3,直,直到无限。到无限。20
11、22-12-1720 说明说明:(1)例例 如有一个二元序列:如有一个二元序列:000101110010001 可变换成游程序列:可变换成游程序列:3113213(2)对二元序列进行哈夫曼编码时,应先测定对二元序列进行哈夫曼编码时,应先测定“0”游程长度和游程长度和“l”游程长度的概率分布,或由二游程长度的概率分布,或由二元序列的概率特性去计算各种游程长度的概率。元序列的概率特性去计算各种游程长度的概率。2022-12-1721 什么叫多元序列游程和游程长度什么叫多元序列游程和游程长度?对于多元序列也存在相应的游程序列。对于多元序列也存在相应的游程序列。例如例如m元序列中,可有元序列中,可有m
12、种游程。连着出现种游程。连着出现符号符号ar的游程,其长度的游程,其长度L(r)就是)就是“r”游程游程长度。这也是一个随机变量。用长度。这也是一个随机变量。用L(r)也可)也可构成游程序列。但是这种变换必须再加一些构成游程序列。但是这种变换必须再加一些符号,才能成为一一对应或可逆的符号,才能成为一一对应或可逆的.2022-12-1722 说明说明:(1)与二元序列变换所得的游程序列不同,这与二元序列变换所得的游程序列不同,这里每个里每个“r”游程的前面和后面出现什么符号是游程的前面和后面出现什么符号是不确定的,除不确定的,除r外的任何符号都是可能的,因外的任何符号都是可能的,因此这一游程之后
13、是何种符号的游程就无法确定,此这一游程之后是何种符号的游程就无法确定,除非插人一个标志说明后一游程的类别。上述除非插人一个标志说明后一游程的类别。上述的附加标志可能抵销压缩编码所得的好处,对的附加标志可能抵销压缩编码所得的好处,对原来的多元序列直接编码,或许会更有效一些原来的多元序列直接编码,或许会更有效一些,所以把多元序列变换成游程序列再进行压缩编所以把多元序列变换成游程序列再进行压缩编码是没有多大意义的码是没有多大意义的.2022-12-1723(2)一般情况下,游程长度越大,其概率越一般情况下,游程长度越大,其概率越小;这在以前的计算中也可看到,而且小;这在以前的计算中也可看到,而且将随
14、长度的增大渐趋向零。对于小概率将随长度的增大渐趋向零。对于小概率的码字,其长度未达到概率匹配或较长,的码字,其长度未达到概率匹配或较长,损失不会太大,也就是对平均码字长度损失不会太大,也就是对平均码字长度影响较小。这样就可对长游程不严格按影响较小。这样就可对长游程不严格按哈夫曼码步骤进行;在实际应用时,常哈夫曼码步骤进行;在实际应用时,常采用截断处理的方法。采用截断处理的方法。2022-12-1724(3)游程编码只适用于二元序列,对于多元游程编码只适用于二元序列,对于多元信源,一般不能直接利用游程编码;但信源,一般不能直接利用游程编码;但在下面介绍的冗余位编码,也可认为是在下面介绍的冗余位编
15、码,也可认为是游程编码在多元信源的一种应用。游程编码在多元信源的一种应用。2022-12-1725冗余位编码思想冗余位编码思想?设有多元信源序列设有多元信源序列 (4-4-1)其中其中x是含有信息的代码,取值于是含有信息的代码,取值于m元符号集元符号集A,可称为信息位;可称为信息位;y是冗余位,它们可为全零,即是冗余位,它们可为全零,即使未曾传送在收端也能恢复。这样的序列可用下使未曾传送在收端也能恢复。这样的序列可用下列两个序列来代替:列两个序列来代替:111,100,000111,111000和和 (4-4-2)yyxxxyyxxxmmmm,22121121,22111121mmmmxxxx
16、xx2022-12-1726 前一个序列中,用前一个序列中,用“1”表示信息位,用表示信息位,用“0”表示冗余位;后一个序列是取消冗余表示冗余位;后一个序列是取消冗余位后留下的所有信息位。显然,从(位后留下的所有信息位。显然,从(4-4-1)式变换成(式变换成(4-4-2)式中的两个序列是一一)式中的两个序列是一一对应的,也就是可逆的。如果把(对应的,也就是可逆的。如果把(4-4-2)式中的两个序列传送出去,只要没有差错,式中的两个序列传送出去,只要没有差错,在收端就可恢复(在收端就可恢复(4-4-1)式中的多元信源)式中的多元信源序列。这样就把一个多元序列分解为一个序列。这样就把一个多元序列
17、分解为一个二元序列和一个缩短了的多元序列。它们二元序列和一个缩短了的多元序列。它们可用不同的方法来编码以利于更有效地压可用不同的方法来编码以利于更有效地压缩码率。缩码率。2022-12-1727 例例 (1)在电话通信中,讲话时常有间隙,如在电话通信中,讲话时常有间隙,如字句间的停顿,听对方讲话而静默字句间的停顿,听对方讲话而静默.(2)图象信源中,背景基本上不变,并在图象信源中,背景基本上不变,并在图象中占相当大一部分,而其值为常量图象中占相当大一部分,而其值为常量相当于平均亮度,一般也可以不传送相当于平均亮度,一般也可以不传送.(3)在数据信源序列中,信息包间的间歇在数据信源序列中,信息包
18、间的间歇或某种固定模式,也属于冗余性质。或某种固定模式,也属于冗余性质。这些符号可称为冗余位,若能删除它们,这些符号可称为冗余位,若能删除它们,可得较大的压缩比。可得较大的压缩比。2022-12-17284.4.2 算术编码算术编码 算术编码的基本思路:算术编码的基本思路:从全序列出发,将各信源序列的概率映射从全序列出发,将各信源序列的概率映射到到0,1区间上,使每个序列对应这区间内的一区间上,使每个序列对应这区间内的一点,也就是一个二进制的小数。这些点把点,也就是一个二进制的小数。这些点把0,1区间分成许多小段,每段的长度等于某一序列区间分成许多小段,每段的长度等于某一序列的概率。再在段内取
展开阅读全文