信息论基础与编码课件第四章-信息率失真函数.ppt

1、第四章信息率失真函数第四章信息率失真函数4.1 4.1 平均失真和信息率失真函数平均失真和信息率失真函数4.2 信息率失真函数的性质信息率失真函数的性质4.3 离散信源的离散信源的R(D)函数及其计算函数及其计算4.4 连续信源的连续信源的R(D)函数及其计算函数及其计算24.1 平均失真和信息率失真函数平均失真和信息率失真函数 4.1.14.1.1失真函数失真函数 4.1.24.1.2平平均失真均失真 4.1.34.1.3信息率失真函数信息率失真函数3失真函数失真函数nm 假如信源X输出随机序列为X=x1,x2,xn，经过信道传输后，输出Y=y1,y2,ym。如果xiyj，则认为没有失真；如

2、果xi yj，那么就产生了失真。失真的大小，用一个量来表示，即失真函数 d(xi，yj)，以衡量用yj代替xi所引起的失真程度。（4-1）4对每一对对每一对(xi,yj)，定义一个，定义一个非负的函数的函数失真函数失真函数(续续)111212122212(,)(,)(,)(,)(,)(,)(,)(,)(,)mmnnnmd xyd xyd xyd xyd xyd xyd xyd xyd xy D称为单个符号的称为单个符号的失真度或或失真函数，表示离散信源发出，表示离散信源发出一个符号一个符号 xi 而在接收端再现成而在接收端再现成 yj 所引起的误差和失真。所引起的误差和失真。上述非负的失真函数

3、共有上述非负的失真函数共有 n m 个，可以整体表示成个，可以整体表示成失真矩阵00ijijijxyd(x,y)xy（4-3）（4-2）5失真函数失真函数(续续)2(,)()ijjid xyyx平方误差失真函数平方误差失真函数 (,)|ijjid xyyx绝对误差失真函数绝对误差失真函数 (,)|ijjiid xyyxx相对误差失真函数相对误差失真函数 误码失真函数误码失真函数 0(,)ijijd xyij 适用于适用于连续信源连续信源适用于离散信源适用于离散信源6 失真函数的定义可推广到序列编码情况，如果假定离散信失真函数的定义可推广到序列编码情况，如果假定离散信源输出符号序列源输出符号序列

4、 ，其中其中L长符号序列样长符号序列样值值 ，经信源编码后，输出符号序，经信源编码后，输出符号序列列 ，其 中其 中 L 长 符 号 序 列 样长 符 号 序 列 样值值 ，则失真函数定义为：则失真函数定义为：12(,)LXXXX 11(,)(,)LLijiljlldd x yLx y 12(,)LYY YY 12(,)iiiiLyyyy 12(,)iiiiLxxxx ixiy 失真函数失真函数(续续)7平均失真平均失真对于连续随机变量同样可以定义平均失真对于连续随机变量同样可以定义平均失真(,)(,)xyDpx y d x y dxdy 定义定义平均失真度为失真函数的数学期望，即为失真函数的

5、数学期望，即 d(xi,yj)在在 X 和和 Y的的联合概率空间联合概率空间 P(XY)中的统计平均值中的统计平均值11(,)()(|)(,)nmijijiijijDE d xyp xp yx d xy平均失真度平均失真度 与信源统计特性与信源统计特性 、信道统计特性、信道统计特性 和规定的失真度和规定的失真度 有关；如果信源和失真度给定以后，有关；如果信源和失真度给定以后，就只是信道统计特性的函数。就只是信道统计特性的函数。D(,)ijd xy()ip x(|)jip yxDNkNkkjkikDNyxdEND111),(1（4-6）（4-5）（4-4）8信息率失真函数信息率失真函数设信道容量

6、设信道容量C C，用该信道来传送信息率为，用该信道来传送信息率为R R的信源，如果的信源，如果R RC C，就必须进行压缩，压缩后传信率就必须进行压缩，压缩后传信率RR小于小于C C。同时，要保证对。同时，要保证对信息的压缩所引入的失真不超过预先规定的失真限度信息的压缩所引入的失真不超过预先规定的失真限度DD。对。对信源压缩，就是在平均失真信源压缩，就是在平均失真D D D时，时，R尽可能小。尽可能小。满足平均失真满足平均失真DD的所有转移概率的所有转移概率Pij构成了一个假想的信道，构成了一个假想的信道，称为称为D允许信道，记为允许信道，记为对于离散无记忆对于离散无记忆 信道，有信道，有:)

7、(DDxypPDmjniDDxypPijD,.,2,1,.,2,1,:)(信源的信息率失真函数也称为率失真函数。信源的信息率失真函数也称为率失真函数。（4-7）9信息率失真函数信息率失真函数(续续)(|)()min(;)jiDp y xPR DI X Y ()(|)()min(;)jiD NNp b aPRDI X Y()N R D给定信源和失真度后，在允许信道中，总能找到一个信道给定信源和失真度后，在允许信道中，总能找到一个信道P(Y/X)，使得给定的信源经过此信道传输后，平均互信息量，使得给定的信源经过此信道传输后，平均互信息量I(X;Y)达到最小，这个最小的平均互信息称为达到最小，这个最

8、小的平均互信息称为信息率失真函数 R(D)，简称，简称率失真函数：若信源为离散无记忆信源，则若信源为离散无记忆信源，则R(D)函数为函数为nimjjijijippypxypxypxpDRDij11)()(log)()(min)(（4-8）（4-9）10信息率失真函数信息率失真函数(续续)例例4-2 4-2 已知某编码器的输入符号的概率分布为已知某编码器的输入符号的概率分布为p(xp(x)=0.5,0.5)=0.5,0.5，两个信道的转移概率分别为两个信道的转移概率分别为:计算平均互信息量。计算平均互信息量。解解 由由 ，可得输入符号与输出符号的，可得输入符号与输出符号的联合概率：联合概率：由于

9、由于 ，得，得而而 ，因此得到，因此得到 8.02.01.09.0,8.02.04.06.0ijijpp)|()()(ijijixypxpyxp4.08.05.0)(,1.02.05.0)(2.04.05.0)(,3.06.05.0)(22122111yxpyxpyxpyxpijijyxpyp)()(6.0)(,4.0)(21ypyp)(/)()|(jjijiypyxpyxp32)|(,41)|(,31)|(,43)|(11122111yxpyxpyxpyxp11信息率失真函数信息率失真函数(续续)则平均互信息量为则平均互信息量为同样，可得同样，可得Pij时的平均互信息为时的平均互信息为iji

10、jijibitxpyxpyxpYXI符号/125.0)()|(log)();(2符号/379.0);(bitYXI从此例我们可以看到，若固定从此例我们可以看到，若固定P(x)不变时，平均互信息量随信不变时，平均互信息量随信道的转移概率的变化而变化。这是因为信道受到干扰的作用道的转移概率的变化而变化。这是因为信道受到干扰的作用不同，传递的信息量也不同。可以证明这样一个结论：不同，传递的信息量也不同。可以证明这样一个结论：P(x)一一定时，平均互信息量定时，平均互信息量I(X;Y)是关于信道的转移概率的下凸函数，是关于信道的转移概率的下凸函数，即存在一极小值。即存在一极小值。信息率失真函数的物理意

11、义：信息率失真函数的物理意义：对于给定信源，在平均失真对于给定信源，在平均失真D不不超过失真限度超过失真限度D的条件下，信息率容许压缩的最小值。的条件下，信息率容许压缩的最小值。124.2 信息率失真函数的性质信息率失真函数的性质 4.2.14.2.1R(D)R(D)函数的定义域函数的定义域 4.2.24.2.2R(D)R(D)函数的下凸性函数的下凸性 4.2.34.2.3R(D)R(D)函数的连续性函数的连续性 4.2.44.2.4R(D)R(D)函数的单调递减性函数的单调递减性13R(D)函数的定义域函数的定义域1.1.R(D)R(D)函数的定义域函数的定义域 Dmin和R(Dmin)Dm

12、in0 对于连续信源对于连续信源 min()(0)()R DRH Xmin()(0)()cR DRHx 14 (2)Dmax和R(Dmax)选择所有满足R(D)0中D的最小值，定义为R(D)定义域的上限Dmax，即max()0minR DDDDmax是这样来计算的。R(D)0就是I(X;Y)0，这时试验信道输入与输出是互相独立的，所以条件概率p(yj/xi)与xi无关。即(/)()ijjijjpp yxp ypR(D)函数的定义域函数的定义域(续续)15求出满足条件 的D中的最小值，即max11minmnjiijjiDppd 11mjjp11nmijijijDp p d R(D)函数的定义域函

13、数的定义域(续续)（4-10）16 从上式观察可得：在从上式观察可得：在j=1，m中，中，可找到可找到 值值最小的最小的j，当该，当该j对应的对应的pj1，而其余，而其余pj为零为零 时，上式右边达到最小，这时上式可简化成时，上式右边达到最小，这时上式可简化成1niijip dmax1,2,1minniijjmiDp dmax1,2,1minniijjmiDp dmax0,DDR(D)函数的定义域函数的定义域(续续)（4-11）17Dmax11122122(,)(,)01(,)(,)10d x yd x yd xyd xydDmax 2max1111221112222minmin(p d)12

14、12min(01,10)33332 11min(,)3 33iijjijDp dp dp dp d，R(D)函数的定义域函数的定义域(续续)18R(D)函数的下凸性和连续性函数的下凸性和连续性1212(1)()(1)()RDDR DR D12max01,D DD 对对于于任任意意的的和和任任意意两两个个允允许许平平均均失失真真度度，有有：连续性由数学分析理论：由数学分析理论：“定义在开区间上的凸函数必是连续函数”知：知：定义域为定义域为(Dmin,Dmax)且具有下凸性的且具有下凸性的 R(D)是连续函数是连续函数下凸性19R(D)函数的单调递减性函数的单调递减性R(D)函数的单调递减性可以理

15、解为：容许的失真越大，函数的单调递减性可以理解为：容许的失真越大，所要求的信息率越小；反之，容许的失真越小，所要所要求的信息率越小；反之，容许的失真越小，所要求的信息率就越大。只要允许的失真不同，所要求的求的信息率就越大。只要允许的失真不同，所要求的最低信息率就不同，不会是相等的。最低信息率就不同，不会是相等的。min12max()DDDDR D在，的函数值不可能为一常数在，的函数值不可能为一常数minmax()(,)R DDD率失真函数在定义域内是单调非增的。率失真函数在定义域内是单调非增的。20根据率失真函数所具有的下凸性、连续性、严格单调下降性根据率失真函数所具有的下凸性、连续性、严格单

16、调下降性可绘出率失真函数的典型曲线图可绘出率失真函数的典型曲线图R(D)函数的一般形式函数的一般形式当规定了允许失真当规定了允许失真D，又确定了适当的失真测量，就可以找到该失，又确定了适当的失真测量，就可以找到该失真条件下的最小信息率真条件下的最小信息率R(D)，这个最小的信息率是一个极限值。采，这个最小的信息率是一个极限值。采用不同的方法进行数据压缩（即信源编码）时，其压缩的程度如何，用不同的方法进行数据压缩（即信源编码）时，其压缩的程度如何，R(D)函数就是对数据进行压缩的一把尺子。函数就是对数据进行压缩的一把尺子。214.3离散信源的离散信源的R(D)函数及其计算函数及其计算由由R(D)

17、的定义可知，求解的定义可知，求解 R(D)实质上是在保真度准则下求互实质上是在保真度准则下求互信息的极小值问题信息的极小值问题实际上就是选择一个条件概率实际上就是选择一个条件概率Pij，使，使I(X;Y)最小，所需约束条最小，所需约束条件如下：件如下：,()minlogijijDiijpPi jjpR Dp pp,iijiji jp p dD1ijjp 0ijp i=1,2,m i=1,2,m;j=1,2,n （4-12）22离散信源的离散信源的R(D)函数及其计算函数及其计算(续续)先不考虑约束条件先不考虑约束条件，由条件，由条件和条件和条件的（的（m+1）个约束方）个约束方程，可用（程，可

18、用（m+1）个乘子和）个乘子和S（待定参数）来构造一个辅助方（待定参数）来构造一个辅助方程程 为了求出的无条件极值，只要对求导并令其为为了求出的无条件极值，只要对求导并令其为0，就可得到一，就可得到一组以为未知数，组以为未知数，S和为参数的方程组，然后再借助于（和为参数的方程组，然后再借助于（m+1）个约束方程来确定个约束方程来确定(m+1)个参数即可求解。个参数即可求解。,()()ijijiijiijijiji jJ pI ppSp p d 令令 d()0dijijJ pp，有，有,d()0dijiijiijijiji jijI ppSp p dp 得得log0ijiiiijjppSp dp

19、或写为或写为log+ijiijjipSdpp23离散信源的离散信源的R(D)函数及其计算函数及其计算(续续)设设，有，有 得得可求得可求得log,1,2,.,iiiimploglog(e)ijSdijijppeijSdijjipp将该式代入约束条件将该式代入约束条件，有，有 e1ijSdijjijjpp1.1,2,eijiSdjjimp，（4-13）（4-14）对（对（4-13）式两端同乘以）式两端同乘以ip，并对，并对i求和，得求和，得ijijSdSdiijjijijiiiiip ppp peppe24离散信源的离散信源的R(D)函数及其计算函数及其计算(续续)得到得到。将（。将（4-14）

20、式所得代入上式，有）式所得代入上式，有（4-15）1ijSdiiipee1eijijSdiSdijjppjpjp0jp 利用（利用（4-15）式解出的）式解出的中含有一个待定参数中含有一个待定参数S，为了保证解，为了保证解均为非负值（均为非负值（），需要对参数），需要对参数S加以限制。加以限制。出的每一个出的每一个ijpiijp利用（利用（4-15）式求解出这些）式求解出这些值，就可由式（值，就可由式（4-14）求出对应）求出对应值。当值。当已知时，由（已知时，由（4-13）式即可求出相应的）式即可求出相应的的值，的值，代入平均失真的公式中，可解出随代入平均失真的公式中，可解出随S参数值变参数

21、值变的的m个个jp，m n个个化的化的D值，即值，即 ()eijSdijii jiijii jijijD Sp pdp pd（4-16）25离散信源的离散信源的R(D)函数及其计算函数及其计算(续续)（4-17）信源的信息率失真函数信源的信息率失真函数R(D)为为 e()elogelog()log()logijijijSdSdjiijiijjSdijiijiijiijijiiijijiiipR Sp ppSp pdp pSD SppSD Spjpiijp此即用参数此即用参数S表示的表示的R(D)函数的表达式，相应的函数的表达式，相应的R(D)用用R(S)代表。代表。给出一个具体的给出一个具体的

22、S值，就可按照顺序求出对应的值，就可按照顺序求出对应的、D(S)、R(S)的值。的值。参数参数S实际上就是实际上就是R(D)函数的斜率，即函数的斜率，即()R DS26离散信源的离散信源的R(D)函数及其计算函数及其计算(续续)例例4-6 设设X为二元等概率平稳无记忆信源，规定失真函数如下为二元等概率平稳无记忆信源，规定失真函数如下 失真矩阵为失真矩阵为 0110d试求其信息率失真函数试求其信息率失真函数R(D)。解解 计算平均失真计算平均失真D()(,)ijijijiiji jijDp x y d x yp p d已知已知 1 1,2 2ip，若最大允许失真为，若最大允许失真为D，则条件转移

23、概率，则条件转移概率ijp与失真测度构成一一对应与失真测度构成一一对应 关系。关系。27离散信源的离散信源的R(D)函数及其计算函数及其计算(续续)ijdijp为对称型，则为对称型，则也为对称型。由概率的归一性，可进一步假设为也为对称型。由概率的归一性，可进一步假设为 1001ijAApAA则平均失真为则平均失真为,110(1)100(1)102211(1)(1)221iijiji jDp p dAAAAAAA 所以所以A=1D，则条件概率为，则条件概率为1001ijDDpDD28离散信源的离散信源的R(D)函数及其计算函数及其计算(续续)由由jiijipp p，求得，求得 11,22jDDp

24、D；得到；得到 11(),22jDDH YH pHD|1,ijH Y XH pHD D信息率失真函数为信息率失真函数为()(;)()(|)11,(1,)22R DI X YH YH Y XDDHDHD D112log(1)log(1)22(1)log2DDDDD 29离散信源的离散信源的R(D)函数及其计算函数及其计算(续续)max1D()0R D 图4-3 R(D)D曲线任给一个任给一个D值，就可求出相应的值，就可求出相应的R(D)值，作出曲线如图值，作出曲线如图4-3所示。可以所示。可以看到，当看到，当D=0时，时，R(D)=H(X)=log2，；D1时，时，种特殊情况下，种特殊情况下，可

25、以求出信源的可以求出信源的R(D)D曲线的显式表达式。曲线的显式表达式。在这。在这30离散信源的离散信源的R(D)函数及其计算函数及其计算(续续)例题例题4-8 设输入、输出符号表为设输入、输出符号表为X=Y=0,1，输入符号的概率为，输入符号的概率为p(x)=p,1 p，0P1/2，失真函数为，失真函数为 0110ijd，求，求R(D)。i12解解 先计算先计算，i=1,2，即，即、。由（4-11）式，可得 1121122211221122ee1ee1SdSdSdSdpppp11(1)Spe2(1)(1)Snpe解得解得 ，再计算输出符号的概率分布再计算输出符号的概率分布 111221221

26、211221()e()e1()e()eSdSdSdSdp yp yp yp y31离散信源的离散信源的R(D)函数及其计算函数及其计算(续续)1(1)e()1eSSppp y21e()1eSSppp y解得解得，计算平均失真，即计算平均失真，即111221221111121221212222()e()e(1)()e(1)()ee1eSdSdSdSdSSDpp y dpp y dp p y dp p y d 则信息率失真函数为则信息率失真函数为12()log(1)log log1)log(1)log(1)log(1),1,1R DSDppppppDDDDH ppH DD（32离散信源的离散信源的

27、R(D)函数及其计算函数及其计算(续续)Hp,1p为信源熵，为信源熵，HD,1D为允许一定的失真而可以压缩的信息率，为允许一定的失真而可以压缩的信息率，maxDp。对于不同的。对于不同的p值，可以作出一组值，可以作出一组R(D)曲线，图曲线，图4-5所示。所示。对于给定的平均失真对于给定的平均失真D，信源分布越均匀，信源分布越均匀，R(D)越大，可压缩性越小；反之，越大，可压缩性越小；反之，信源分布越不均匀，信源分布越不均匀，R(D)越小，可压缩性越大。越小，可压缩性越大。图4-5 不同p值的R(D)D曲线 33离散信源的离散信源的R(D)函数及其计算函数及其计算(续续)通过以上所举的几个例子

28、可以看到，计算实际信源的通过以上所举的几个例子可以看到，计算实际信源的R(D)函数的显式表达式是相当困难的，一般情况下是函数的显式表达式是相当困难的，一般情况下是通过计算机进行迭代运算而得到结果的。通过计算机进行迭代运算而得到结果的。根据根据R(D)函数的定义，寻求迭代算法的关键在于首先函数的定义，寻求迭代算法的关键在于首先寻找一对描述互信息量的、互为因果关系的自变量。寻找一对描述互信息量的、互为因果关系的自变量。通常选通常选 Pj与与Pij，互信息量，互信息量I(Pj;Pij)。当信源给定时，。当信源给定时，Pi已知，那么求互信息的极小值是通过改变已知，那么求互信息的极小值是通过改变Pij来

29、实现来实现的。的。在含有参数在含有参数S的的R(D)函数表达式中，曾经得到函数表达式中，曾经得到jiijipp peeijijSdjijSdjjppp34离散信源的离散信源的R(D)函数及其计算函数及其计算(续续)假设一个假设一个S值，逐次计算出值，逐次计算出Pj与与Pij，代入互信息量，代入互信息量I(Pj;Pij)的表达式中，就能实现对的表达式中，就能实现对R(S)的迭代运算。的迭代运算。再对不同的再对不同的S值反复进行迭代，最终求得值反复进行迭代，最终求得R(D)函数的函数的曲线。曲线。为了运算方便，将为了运算方便，将 Pj与与Pij改写为改写为 jijnniipp p1eeijjiji

30、jjSdnnSdnjppp 35离散信源的离散信源的R(D)函数及其计算函数及其计算(续续)计算计算R(D)的迭代算法和步骤如下的迭代算法和步骤如下。0iipp11ijpmijp（1）令）令n=1，对给定的信源，对给定的信源，取一个初始的条件概率分，取一个初始的条件概率分，由，由式计算式计算。布，如取等概率分布为布，如取等概率分布为1SSijd2ijp（2）对任何）对任何S0，总在，总在0之间取之间取n个点，先去一个最大的负值个点，先去一个最大的负值，对给定的，对给定的按照按照式计算式计算。1jp2ijp（3）将）将、的数值代入互信息公式，得的数值代入互信息公式，得 12(;)(1,2)jij

31、I ppR（4）取）取n=n+1，重复上述运算，可计算出，重复上述运算，可计算出11221rrijjijjijjppppppm36离散信源的离散信源的R(D)函数及其计算函数及其计算(续续)求得相应的信息率为求得相应的信息率为1(1,1)(1,2)(2,2)(1,)(,)()RRRR rrR r rR S（5）若）若(,)(1,)R r rR rr，回到（，回到（4）重新计算，直到其误差）重新计算，直到其误差小于小于时，停止运算。时，停止运算。这里：这里：1(1,)min(;)ijrrjijpR rrI pp(,)min(;)jrrjijpR r rI pp,()limmin(;)ijjrrj

32、ijrppR sI pp（6）重新从）重新从n=1开始，并取开始，并取第二个第二个 S21值，重复上述过程，求出值，重复上述过程，求出 R(S2)。（7）至少取）至少取45个不同的个不同的S值，计算出对应的值，计算出对应的R(S)。最后将几个。最后将几个点的点的R(S)值连接起来，就构成了已知信源的值连接起来，就构成了已知信源的R(D)D曲线。曲线。374.4 连续信源的连续信源的R(D)函数及其计算函数及其计算 4.4.14.4.1幅度连续无记忆信源的幅度连续无记忆信源的R(D)函数函数 4.4.24.4.2差值误差测量与香农界差值误差测量与香农界 4.4.34.4.3带记忆的信源的带记忆的

33、信源的R(D)函数函数 4.4.44.4.4R(D)R(D)函数的单调递减性函数的单调递减性38幅度连续无记忆信源的幅度连续无记忆信源的R(D)函数函数1失真函数失真函数设设12(,)nXx xx为时间离散、幅度连续的信源输出，对其为时间离散、幅度连续的信源输出，对其进行编码后的输出为进行编码后的输出为 12(,)nYy yy，1,2,为时间标志。为时间标志。由源字由源字X到编码输出到编码输出Y所产生的失真为平均值测量。所产生的失真为平均值测量。11(,)(,)nntttdX Yd x yn（4-18）将函数族将函数族,1dnFdn 作为由作为由d产生的单字符保真产生的单字符保真度测量标准。度

34、测量标准。d(x,y)可以有不同的表达形式。可以有不同的表达形式。39幅度连续无记忆信源的幅度连续无记忆信源的R(D)函数函数2R(D)函数函数对于一个幅度连续的信源，假定条件概率密度函数为对于一个幅度连续的信源，假定条件概率密度函数为p(y/x)，失真函数为失真函数为d(x,y)，则平均失真为，则平均失真为()(|)(,)d dDp x p y x d x yx y()(|)(,)d dDp x p y x d x yx y平均互信息量为平均互信息量为(|)();(|)()(|)logd d()p y xI q yp y xp x p y xx yq y其中，其中，()()(|)dq yp

35、x p y xx为输出变量的概率密度函数。为输出变量的概率密度函数。（4-19）（4-20）40幅度连续无记忆信源的幅度连续无记忆信源的R(D)函数函数2R(D)函数函数()(|)(,)d dDp x p y x d x yx y定义平定义平均互信息量的下确界为均互信息量的下确界为R(D)函数函数，即，即（4-21）(|)()inf();(|)Dp y xPR DI q yp y x(|)()inf();(|)Dp y xPR DI q yp y x其中，其中，(|);DPp y x DD。inf表示下确界，对应于离散信源表示下确界，对应于离散信源的极小值。在连续信源情况下，不一定有极小值，但

36、可以有下确界。的极小值。在连续信源情况下，不一定有极小值，但可以有下确界。求下确界的问题，仍然是一个极值问题，是求求下确界的问题，仍然是一个极值问题，是求泛函的极值泛函的极值。因。因此不是求偏导而是求此不是求偏导而是求变分变分了。平均互信息量了。平均互信息量Iq(y);p(y|x)是变是变量量p(y|x)的函数，称的函数，称p(y|x)为为宗量宗量，I为为泛函泛函。因此，求解连续信源的信息率失真函数因此，求解连续信源的信息率失真函数R(D)，是，是利用变分法求利用变分法求出出R(D)函数的参数表达式函数的参数表达式。41幅度连续无记忆信源的幅度连续无记忆信源的R(D)函数函数2R(D)函数函数

37、()(|)(,)d dDp x p y x d x yx y拉格朗日乘子法，引入待定参数拉格朗日乘子法，引入待定参数S、乘子（函数）、乘子（函数）()x，在约束条件在约束条件()(|)(,)d dDp x p y x d x yx y，(|)d1p y xy 下，下，采用采用将条件极将条件极 值化为无条件极值，然后对值化为无条件极值，然后对p(y|x)取变分，并令其为取变分，并令其为0，求出的，求出的 R(D)函数的参数表达式为函数的参数表达式为()()()log()dR SSD Sp xxx(,)()()()()(,)d dSd x yD Sp x q yx ed x yx y其中的其中的(

38、)x为为(,)1()()edSd x yxq yy（4-22）（4-23）（4-24）而参数而参数S就是就是R(D)函数的斜率，有函数的斜率，有S0。42差值误差测量与香农界差值误差测量与香农界 1差值变量的概率密度函数差值变量的概率密度函数()(|)(,)d dDp x p y x d x yx y 失真函数为差值变量即失真函数为差值变量即d(x,y)=d(x-y)。从。从()x的表达式中可以看的表达式中可以看到，到，()x中含有参数中含有参数S，并且与输入随机变量并且与输入随机变量x的概率密度的概率密度p(x)成反成反比。比。因此，可以假设因此，可以假设()()()K Sxp x（4-25

39、）由式由式d(,)d(,)()()ed1()0()()ed1()0Sx ySx yx p xxq yx p xxq y，得得d(,)()ed1Sx yK Sx（4-26）寻找合适的寻找合适的K(S)使等式成立，此时使等式成立，此时d(,)1()edSx yK Sx（4-27）43差值误差测量与香农界差值误差测量与香农界1差值变量的概率密度函数差值变量的概率密度函数()(|)(,)d dDp x p y x d x yx y设失真函数为设失真函数为d(x,y)=d(xy)，令，令z=xy，将，将y作为参变量，则有作为参变量，则有dz=dx，可得，可得d()1()edSzK Sz或或d()e()d

40、1SzK SzS()gz将积分变量将积分变量当作一个以当作一个以S为参数的函数，记为为参数的函数，记为满足条件：满足条件：，S()0gz()d1Sgzz 非负性：非负性：归一性：归一性：说明说明具有概率密度函数的特性。具有概率密度函数的特性。S()gz因此，定义差值变量因此，定义差值变量z的的概率密度函数概率密度函数为为()()S()e()()eedSd zSd zSd zgzK Sz（4-28）44差值误差测量与香农界差值误差测量与香农界1差值变量的概率密度函数差值变量的概率密度函数()(|)(,)d dDp x p y x d x yx y由（由（4-25）式可得）式可得 1()()SS(

41、)()()()()ed()()ed()()d()()Sd x ySd x yp xx K SK Sq yyq y K Syq y gxyygx q x（4-29）说明：信源的概率密度为输出变量说明：信源的概率密度为输出变量y的概率密度和差值变量的概的概率密度和差值变量的概S()gx，输出为，输出为p(x)。率密度的卷积。相当于率密度的卷积。相当于q(x)经过了一个信道滤波函数为经过了一个信道滤波函数为45差值误差测量与香农界差值误差测量与香农界1差值变量的概率密度函数差值变量的概率密度函数()(|)(,)d dDp x p y x d x yx y随机变量的概率密度函数的傅里叶变换为其特征函数

42、。因此，对随机变量的概率密度函数的傅里叶变换为其特征函数。因此，对 S()()()p xgxq x两端进行傅里叶变换，有两端进行傅里叶变换，有 jjjS()e d()e()e d txtxtxp xxgxdxq xx即即()()()()()()ppgqqgtttttt求其傅里叶反变换，有求其傅里叶反变换，有 1()()e2jtygq ytdt由由q(y)即可解出即可解出()x、D(S)及及R(S)。46差值误差测量与香农界差值误差测量与香农界2均方误差测量下的均方误差测量下的R(D)函数函数()(|)(,)d dDp x p y x d x yx y均方误差测量时，均方误差测量时，22()()

43、d xyxyz。差值变量的概率密度。差值变量的概率密度函数为函数为22Se()edSzSzgzz由于斜率由于斜率S总是取负值，即总是取负值，即S0，可用，可用-|S|表示表示S。求积分。求积分22|0ed2ed|S zS zzzS有有 2|S|()eS zSgz47差值误差测量与香农界差值误差测量与香农界2均方误差测量下的均方误差测量下的R(D)函数函数()(|)(,)d dDp x p y x d x yx y特征函数为特征函数为22|4|g()eede|tjtzS zStzS输出输出y的特征函数为的特征函数为24|qpgp()()()()etStttt求反变换，得：求反变换，得：2j4|p

44、1()()ed2ttySq ytt48差值误差测量与香农界差值误差测量与香农界2均方误差测量下的均方误差测量下的R(D)函数函数()(|)(,)d dDp x p y x d x yx y含有参数含有参数S的平均失真为的平均失真为222|2|22S|2()()()()ed d()ed()d()d|ed12|S zS zS zD Sx p x q yzx yK Szzq yygzzzSzzS即即 12SD 49差值误差测量与香农界差值误差测量与香农界2均方误差测量下的均方误差测量下的R(D)函数函数()(|)(,)d dDp x p y x d x yx y含有参数含有参数S的信息率失真函数的信

45、息率失真函数R(S)为为2|cc()()log()d()log()d()log()d()logd 1()log(2e)2S zR SSDp xxxSDp xK Sxp xp xxHXSDezHXDc()HX为信源的微分熵，为信源的微分熵，1log(2e)2D为允许的失真为为允许的失真为D时而压缩掉时而压缩掉的信息量。的信息量。给定给定p(x)时，即可求得时，即可求得R(D)。50差值误差测量与香农界差值误差测量与香农界2均方误差测量下的均方误差测量下的R(D)函数函数()(|)(,)d dDp x p y x d x yx y在在max0DD 域内，域内，R(D)保持下凸、单调下降，斜率保持下

46、凸、单调下降，斜率S0，D=0时时R(0)=。即连续信。即连续信源的信息量为无限大，要无失真地用数源的信息量为无限大，要无失真地用数字信号来传送模拟信号，则需要无限大的信息速率。字信号来传送模拟信号，则需要无限大的信息速率。51差值误差测量与香农界差值误差测量与香农界3绝对误差测量下的绝对误差测量下的 R(D)函数函数()(|)(,)d dDp x p y x d x yx y失真函数为绝对失真时，失真函数为绝对失真时，d(x,y)=d(x-y)=|x-y|=|z|。差值变量的概。差值变量的概率密度函数为率密度函数为|S|e|()e2edS zSzS zSgzz平均失真为平均失真为S11()(

47、)|d|D SgzzzSSD，信息率失真函数为信息率失真函数为|cc()()log(ed)()log(2e)SzR DSDHXzHXD该该R(D)函数是否有效，还需要检验函数是否有效，还需要检验q(y)是不是符合概率密度函数是不是符合概率密度函数的定义。的定义。c()()log2eR DHXD称为香农低界。称为香农低界。52带记忆的信源的带记忆的信源的R(D)函数函数()(|)(,)d dDp x p y x d x yx y当最大的允许失真当最大的允许失真D给定时，和无记忆信源相比，有记忆信源能给定时，和无记忆信源相比，有记忆信源能够得到较大的数据压缩。对于正态分布的信源，有如下结论。够得到

48、较大的数据压缩。对于正态分布的信源，有如下结论。()|()|()|R DR DR D有记忆无记忆无记忆白色谱这一结论往往用这一结论往往用R的逆函数表示而更加直观。当给定信源的速率的逆函数表示而更加直观。当给定信源的速率R时，在小失真范围内，表达式为时，在小失真范围内，表达式为 2()|()|()|D Rr D RD R有记忆无记忆无记忆白色谱其中其中 21r，是，是X序列的谱平坦度。对白色正态噪声，有序列的谱平坦度。对白色正态噪声，有 2()常数，常数，21r 该式表明，有记忆信源的失真与无记忆信源的失真相比，可以降该式表明，有记忆信源的失真与无记忆信源的失真相比，可以降低低2r倍。倍。53带

49、记忆的信源的带记忆的信源的R(D)函数函数()(|)(,)d dDp x p y x d x yx y例例4-9 讨论具有相关系数为讨论具有相关系数为的一阶正态马尔可夫信源的信息率的一阶正态马尔可夫信源的信息率失真函数失真函数R(D)。假设信源正态分布的均值为假设信源正态分布的均值为0、方差为、方差为 2，其相关函数（协方差，其相关函数（协方差矩阵）为矩阵）为|2kxxR功率谱密度为功率谱密度为2221()12 cos t 当当 0时，功率谱密度在时，功率谱密度在 t上有最小值，即上有最小值，即 222211min()(1)1 54带记忆的信源的带记忆的信源的R(D)函数函数()(|)(,)d dDp x p y x d x yx y在小失真区域内，可求得在小失真区域内，可求得 221(1)(0)log2RD且且 211D可以看出当可以看出当 增大时，增大时，R(D)是减小的，即是减小的，即()R D相关性强压缩比大55