信息论第7章北理工课件.ppt

1、1第七章第七章 保真度准则下的信源编码保真度准则下的信源编码第一节第一节 失真度和平均失真度失真度和平均失真度第二节第二节 信息率失真函数及其性质信息率失真函数及其性质第三节第三节 离散信源的信息率失真函数离散信源的信息率失真函数第五节第五节 保真度准则下的信源编码定理保真度准则下的信源编码定理 第六节第六节 联合有失真信源信道编码定理联合有失真信源信道编码定理第七节第七节 有失真信源编码定理的实用意义有失真信源编码定理的实用意义第四节第四节 连续信源的信息率失真函数连续信源的信息率失真函数7.1 7.1 失真度和平均失真度失真度和平均失真度 在实际生活中，人们不一定要求完全无失真的在实际生活

2、中，人们不一定要求完全无失真的恢复消息，也就是允许有一定的失真。恢复消息，也就是允许有一定的失真。那么在允许一定程度失真的条件下，能够把那么在允许一定程度失真的条件下，能够把信源信息压缩到什么程度，也就是，允许一定程度信源信息压缩到什么程度，也就是，允许一定程度失真的条件下，如何能快速的传输信息，这就是本失真的条件下，如何能快速的传输信息，这就是本章所要讨论的问题。章所要讨论的问题。(1)(1)“消息完全无失真传送消息完全无失真传送”的可实现性的可实现性o信道编码定理信道编码定理：无论何种信道，只要信息率：无论何种信道，只要信息率R R小于信道小于信道容量容量C C，总能找到一种编码，使在信道

3、上能以任意小的，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于错误概率和任意接近于C C 的传输率来传送信息。反之，的传输率来传送信息。反之，若若R R C C，则传输总要失真。，则传输总要失真。o完全无失真传送不可实现：完全无失真传送不可实现：n实际的信源常常是连续的，信息率无限大，要无失实际的信源常常是连续的，信息率无限大，要无失真传送要求信息率真传送要求信息率R R为无穷大；为无穷大；n实际信道带宽是有限的，所以信道容量受限制。要实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量想无失真传输，所需的信息率大大超过信道容量R RC C。一、

4、引 言(2)(2)实际中允许一定程度的失真实际中允许一定程度的失真o 技术发展的需要技术发展的需要n随着科学技术的发展，数字系统应用得越来越广泛，这随着科学技术的发展，数字系统应用得越来越广泛，这就需要传送、存储和处理大量的数据。为了提高传输和就需要传送、存储和处理大量的数据。为了提高传输和处理效率，往往需要对数据压缩，这样也会带来一定的处理效率，往往需要对数据压缩，这样也会带来一定的信息损失。信息损失。n人类社会已进入信息时代，信息爆炸的结果要求人们解人类社会已进入信息时代，信息爆炸的结果要求人们解决如何对浩如烟海的数据有效的压缩，减少数据的决如何对浩如烟海的数据有效的压缩，减少数据的存储存

5、储容量容量(如各种数据库、电子出版物、多媒体娱乐如各种数据库、电子出版物、多媒体娱乐)、传输传输时间时间(如数据通信和遥测如数据通信和遥测)、或、或占有带宽占有带宽(如多媒体通信、如多媒体通信、数字音频广播、高清晰度电视数字音频广播、高清晰度电视)，要想方设法压缩给定，要想方设法压缩给定消息消息 集合占用的空间域、时间域和频率域资源。集合占用的空间域、时间域和频率域资源。n如海洋地球物理勘探遥测数据，用如海洋地球物理勘探遥测数据，用6060路传感器，每路信路传感器，每路信号号1 1KHzKHz，1616位位A A/D D量化，每航测量化，每航测1 1KmKm就需记录就需记录1 1盘盘0.50.

6、5英寸英寸的磁带，一条测量船每年就可勘测的磁带，一条测量船每年就可勘测1500015000KmKm，数据流之，数据流之大可见一斑。大可见一斑。o 实际生活中的需要实际生活中的需要n 实际生活中，人们一般并不要求获得完全无实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。息，即允许一定的失真存在。n 例如打电话：即使语音信号有一些失真，接例如打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接收信号的带宽和电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。分辨率是有限的。n 放电影：理论上需要无穷

7、多幅静态画面，由放电影：理论上需要无穷多幅静态画面，由于人眼的于人眼的“视觉暂留性视觉暂留性”，实际上只要每秒，实际上只要每秒放映放映2424幅静态画面。幅静态画面。n 有些失真没有必要完全消除。有些失真没有必要完全消除。o 在允许一定程度失真的条件下，能够把信源在允许一定程度失真的条件下，能够把信源信息压缩到什么程度信息压缩到什么程度,即即:最少需要多少比特最少需要多少比特数才能描述信源数才能描述信源.也就是也就是 在允许一定程度失在允许一定程度失真的条件下真的条件下,如何能快速的传输信息如何能快速的传输信息.这就是这就是信息率失真理论信息率失真理论.(3)(3)信息率失真理论信息率失真理论

8、o 信息率失真函数信息率失真函数n 香农定义了信息率失真函数香农定义了信息率失真函数R R(D D)。n 定理指出定理指出：在允许一定失真度：在允许一定失真度D D的情况下，的情况下，信源输出的信息率可压缩到信源输出的信息率可压缩到R R(D D)。n 信息率失真理论是信息率失真理论是量化量化（模数转换）、（模数转换）、数模数模转换转换、频带压缩频带压缩和和数据压缩数据压缩的理论基础。的理论基础。o 我们将信道编码和译码都看成是信道的一部分。我们将信道编码和译码都看成是信道的一部分。o 又根据信道编码定理，我们可以把信道编码、信道、又根据信道编码定理，我们可以把信道编码、信道、信道译码这三部分

9、看成是一个没有任何干扰的广义信道译码这三部分看成是一个没有任何干扰的广义信道。这样收信者收到消息后所产生的失真信道。这样收信者收到消息后所产生的失真(或误差或误差)只是由信源编码带来的。只是由信源编码带来的。o 从直观感觉可知，从直观感觉可知，若允许失真越大，信息传输率可若允许失真越大，信息传输率可越小；若允许失真越小，信息传输率需越大。越小；若允许失真越小，信息传输率需越大。所以所以信息传输率与信源编码所引起的失真信息传输率与信源编码所引起的失真(或误差或误差)是有是有关的。关的。o 为了定量地描述信息传输率和失真的关系，我们用为了定量地描述信息传输率和失真的关系，我们用虚拟手法拿信道来表示

10、失真信源编码的作用，把信虚拟手法拿信道来表示失真信源编码的作用，把信源编码和信源译码等价成一个信道，由于是失真编源编码和信源译码等价成一个信道，由于是失真编码，所以信道不是一一对应的，用信道传递概率来码，所以信道不是一一对应的，用信道传递概率来描述编、译码前后的关系。一般此信道称为描述编、译码前后的关系。一般此信道称为试验信试验信道。道。信源信源编码编码信道信道编码编码信道信道信道译码译码信源信源译码译码信源信源信宿信宿信源信源编码编码信道*信源信源译码译码信源信源信宿信宿信源信源信宿信宿试验信道UVp(vj/ui)现在我们要研究在给定允许失真的条件下，是否可现在我们要研究在给定允许失真的条件

11、下，是否可以设计一种信源编码使信息传输率为最低。为此，以设计一种信源编码使信息传输率为最低。为此，我们首先讨论失真的测度。我们首先讨论失真的测度。设信源变量为设信源变量为 ，其概率分布为其概率分布为 12,.rUu uu1()().()rP uP uP u对于每一对对于每一对(u(ui i,v,vj j)，我们指定一个非负的函数，我们指定一个非负的函数(,)0ijd u v二、失真度（或称失真函数）二、失真度（或称失真函数）接收端变量为接收端变量为 12,.sVv vv称为单个符号的失真度（或称失真函数）称为单个符号的失真度（或称失真函数）失真函数用来表征信源发出一个符号失真函数用来表征信源发

12、出一个符号u ui i，而在，而在接收端再现成符号接收端再现成符号v vj j 所引起的误差或失真。所引起的误差或失真。d(ui,vj)越小表示失真越小，等于越小表示失真越小，等于0 0表示没有失真。表示没有失真。可以将所有的失真函数排列成矩阵的形式：可以将所有的失真函数排列成矩阵的形式：111212122212(,)(,).(,)(,)(,).(,).(,)(,).(,)ssrrrsd u vd u vd u vd u vd u vd u vDd u vd u vd u v我们称它为我们称它为失真矩阵失真矩阵。常用的失真函数常用的失真函数o第一种第一种n当当i i=j j时，时，U U与与V

13、 V的取值一样，用的取值一样，用V V来代表来代表U U就没有误差，所就没有误差，所以定义失真函数为以定义失真函数为0 0；n当当i ij j时，用时，用V V代表代表U U就有误差。就有误差。n这种定义认为对所有不同的这种定义认为对所有不同的i i和和j j引起的误差都一样，所引起的误差都一样，所以定义以定义失真函数为常数失真函数为常数a a。n失真矩阵的失真矩阵的特点是对角线上的元素均为特点是对角线上的元素均为0 0，对角线以外的，对角线以外的其它元素都为常数其它元素都为常数a a。0000000aaaaaaaaaaaaDjiaajivudji),(n当当a a=1=1时的失真函数称为时的

14、失真函数称为汉明失真函数汉明失真函数。o 第二种：第二种：d d(u ui i,v vj j)=()=(v vj ju ui i)2 2n这种函数称为这种函数称为平方误差失真函数平方误差失真函数，失真矩阵称为，失真矩阵称为平方误平方误差失真矩阵差失真矩阵。n若信源符号代表输出信号的幅度值，则较大的幅度失真若信源符号代表输出信号的幅度值，则较大的幅度失真比较小的幅度失真引起的错误更为严重，严重程度用平比较小的幅度失真引起的错误更为严重，严重程度用平方表示。方表示。失真函数是根据人们的实际需要和失真引起的损失、风险、失真函数是根据人们的实际需要和失真引起的损失、风险、主观感觉上的差别大小等因素主观

15、感觉上的差别大小等因素人为规定的人为规定的。0111010111101111010),(Djijiyxdji三三、平均失真度、平均失真度(,)ijDE d u v若已知试验信道的传递概率，则平均失真度为：若已知试验信道的传递概率，则平均失真度为：,11(,)(,)()(/)(,)rsijiijU VijDP u v d u vP u P vu d u v 若平均失真度若平均失真度 不大于我们所允许的失真限不大于我们所允许的失真限度度D D，我们称此为，我们称此为保真度准则保真度准则。DDD凡满足保真度准则的这些试验信道称为凡满足保真度准则的这些试验信道称为D D失真许可的失真许可的试验信道试验

16、信道。把所有。把所有D D失真许可的试验信道组成一个集失真许可的试验信道组成一个集合，用符号合，用符号BD 表示。表示。sjriDDuvpBijD,:)/(2121o 平均失真度的意义平均失真度的意义n 是在平均意义上，从总体上对整个系是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性统失真情况的描述。它是信源统计特性p p(u ui i)、信道统计特性、信道统计特性p p(v vj j/u ui i)和失真度和失真度d d(u ui i,v vj j)的函数的函数 。当。当p p(u ui i)，p p(v vj j/u ui i)和和d d(u ui i,v vj j)给定

17、后，平均失真度就不是一个给定后，平均失真度就不是一个随机变量了，而是一个确定的量。随机变量了，而是一个确定的量。n 如果信源和失真度一定，如果信源和失真度一定，就只是信道就只是信道统计特性的函数。信道传递概率不同，平统计特性的函数。信道传递概率不同，平均失真度随之改变。均失真度随之改变。DDN N 次扩展信道的平均失真度次扩展信道的平均失真度oN N次扩展次扩展n单符号离散无记忆信源单符号离散无记忆信源U U u u1 1,u u2 2,u ur r 的的N N次扩展信次扩展信源源U UN N =u u1 1u u2 2u uN N ，在信道中的传递作用相当于单符号，在信道中的传递作用相当于单

18、符号离散无记忆信道的离散无记忆信道的N N次扩展信道，输出也是一个随机次扩展信道，输出也是一个随机变量序列变量序列V VN N=V V1 1V V2 2V VN N 。n此时输入共有此时输入共有r rN N个不同的符号个不同的符号n信道的输出共有信道的输出共有s sN N个不同的符号个不同的符号NNriiiiiiiririiiuuuuuuuuuNN,)(212121212121NNsjjjjjjjsjsjjjvvvvvvvvvNN,)(212121212121n定义离散无记忆信道定义离散无记忆信道 U U P P(V V/U U)V V 的的N N次次扩展信道的输入序列扩展信道的输入序列i i

19、和输出序列和输出序列j j之间的失真函数为之间的失真函数为n上式说明上式说明：离散无记忆信道的：离散无记忆信道的N N次扩展信道输入输出之次扩展信道输入输出之间的失真，等于输入序列间的失真，等于输入序列i i中中N N个信源符号个信源符号u ui i1 1,u ui i2 2,u uiNiN各自通过信道各自通过信道 U U P P(V V/U U)V V，分别输出，分别输出对应的对应的N N个信宿符号个信宿符号v vj j1 1,v vj j2 2,v vjNjN后所引起的后所引起的N N个单符号个单符号失真失真d d(u uik ik,v vjkjk)()(k k=1,2,=1,2,N N)

20、之和。之和。NkjijijijijjjiiijikkNNNNvudvudvudvudvvvuuudd122112121),(),(),(),(),(),(oN N次扩展的失真度次扩展的失真度 定义定义N N次离散无记忆扩展信源和信道的平均次离散无记忆扩展信源和信道的平均失真度为失真度为 ，则，则)(NDNkjkikijrisjijiijrisjivudppdppNDNNNN11111),()/()(),()/()()(o “N N次扩展次扩展”与与“单符号单符号”平均失真度的关系平均失真度的关系n 由扩展信源和扩展信道的无记忆性有由扩展信源和扩展信道的无记忆性有NkvuduvpupDuvpup

21、DDDDvuduvpupvuduvpupvuduvpupvuduvpuvpupupdppNDsjriuvppuppkkkkkkkkkkkkNNNNNNNkkNNNNNNNkkkjiijrisjikrjijriiNkkNjiijrisjijiijrisjijiijrisjiNkjiijijiririsjsjijiijrisjiNNNkijijNkii,),()/()()/()(),()/()(),()/()(),()/()(),()/()/()()(),()/()()(,)/()/()()(211121211111121111111111111112222222111111111111 其中其中

22、n 实际上，实际上，(k k=1,2,=1,2,N N)是同一信源是同一信源U U在在 N N个不同时刻通过同一信道个不同时刻通过同一信道 U U P P(Y Y/U U)Y Y 所所造成的平均失真度，因此都等于单符号信源造成的平均失真度，因此都等于单符号信源U U通通过信道过信道 U U P P(Y Y/U U)Y Y 所造成的平均失真度，即所造成的平均失真度，即n 上式说明上式说明：离散无记忆离散无记忆N N次扩展信源通过次扩展信源通过离散无记忆离散无记忆N N次扩展信道的平均失真度是次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度单符号信源通过单符号信道的平均失真度的的N N

23、倍倍。kDDNNDvuduvpupDDrisjjiijik)(),()/()(因此因此11N N次扩展的保真度准则次扩展的保真度准则 离散无记忆离散无记忆N N次扩展信源通过离散无记忆次扩展信源通过离散无记忆N N次次扩展信道的保真度准则为扩展信道的保真度准则为 凡满足保真度准则的这些试验信道称为凡满足保真度准则的这些试验信道称为D D失真失真许可的试验信道许可的试验信道。把所有。把所有D D失真许可的试验信道组失真许可的试验信道组成一个集合，用符号成一个集合，用符号BD 表示。表示。NDND)(NDNDpBijD)(:)/(7.2 7.2 信息率失真函数及其性质信息率失真函数及其性质1 1、

24、信息率失真函数、信息率失真函数 当信源和失真函数给定后，我们总希望在满足保当信源和失真函数给定后，我们总希望在满足保真度准则下寻找平均互信息的最小值。也就是在真度准则下寻找平均互信息的最小值。也就是在B BD D 中找一个信道，使平均互信息最小（求极小值）。这中找一个信道，使平均互信息最小（求极小值）。这个最小值就是在个最小值就是在 的条件下，信源必须传输的的条件下，信源必须传输的最小平均信息量。最小平均信息量。DD 改变试验信道求平均互信息的最小值，实质上是改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率为最小。选择一种编码方式使信息传输率为最小。);(min)()/(

25、VUIDRDijBuvp单符号信源和单符号信道的信息率失真函数单符号信源和单符号信道的信息率失真函数n在信源和失真度给定以后，在信源和失真度给定以后，B BD D是满足保真是满足保真 度准则度准则 的试验信道集合，平均互信息的试验信道集合，平均互信息I I(U U;V V)是信道传递概率是信道传递概率p p(v vj j/u ui i)的下凸函数，的下凸函数，所以在所以在B BD D中一定可以找到某个试验信道，使中一定可以找到某个试验信道，使I I(U U;V V)达到最小，即达到最小，即这个最小值这个最小值R R(D D)称为信息率失真函数称为信息率失真函数.物理意义物理意义：对于给定的信源

26、，在：对于给定的信源，在 的条件下，的条件下，信息率允许压缩到的最小值。信息率允许压缩到的最小值。);(min)()/(VUIDRDijBuvpDD DD o“N N次扩展次扩展”的信息率失真函数的信息率失真函数 对于离散无记忆信源的对于离散无记忆信源的N N次扩展信源和离散无次扩展信源和离散无记忆信道的记忆信道的N N次扩展信道，在所有满足保真度准次扩展信道，在所有满足保真度准则则 的的N N维试验信道集合中，一定可维试验信道集合中，一定可以寻找到某个信道使平均互信息取最小值以寻找到某个信道使平均互信息取最小值R RN N(D D)，这个最小值称为它的信息率失真函数。这个最小值称为它的信息率

27、失真函数。n 由信源和信道的无记忆性，可以证明由信源和信道的无记忆性，可以证明R RN N(D D)=)=NRNR(D D)。);(min)()()/(NNBpNVUIDRNDijNDND)(o 例例:设信源有设信源有2n2n种不同的符号，即，种不同的符号，即，且该信源为一等概信源，即且该信源为一等概信源，即 若选定失真函数为汉明失真若选定失真函数为汉明失真o 如允许的平均失真为如允许的平均失真为D=0 D=0 即：不允许有失真，则必须即：不允许有失真，则必须用下图所示的信道进行传输。用下图所示的信道进行传输。o 此时信道的信息传输率此时信道的信息传输率jijiyxdji10),(nnnaaa

28、aaX2121,napxXpii21)()(nXHR2log)(若若D=1/2D=1/2，为了满足保真度准则，我们用下列信道进行传输。，为了满足保真度准则，我们用下列信道进行传输。此时这个信道（信源编码方法）的平均失真为此时这个信道（信源编码方法）的平均失真为 保真度准则要求保真度准则要求 为了能用尽保为了能用尽保真度准则所规定的允许失真范围，可取真度准则所规定的允许失真范围，可取 由于这个信道的传递概率等于由于这个信道的传递概率等于1 1或或0 0，所以噪声熵一定为，所以噪声熵一定为0 021211121),()/()(),()/()(21212121nnnaadaapapaadaapapD

29、nniniininnininjjiijiDD 21 DD)()/()();(YHXYHYHYXI)log(log);()log(log)log(logloglog,)()()()()()()()(1212121212122121212121212121212121211121nnnnYXInnnnnnnnnnnnnnnnnnnnnnnnHYHnnapapapapnapapapnnYnYnYnYnYYY即即可可得得：为为而而信信道道输输出出的的概概率率分分布布o 这表明：如允许平均失真达到规定值这表明：如允许平均失真达到规定值 ，那么我，那么我们就可以只要传送们就可以只要传送 这这n n个符号，

30、并以个符号，并以 来代替来代替 这这n n个符号，以致使信息传输率个符号，以致使信息传输率降低了降低了 ，即信源输出信息率可压缩，即信源输出信息率可压缩 o 所求得的所求得的 如能求出如能求出 ，则，则信源输出信息率可望进一步压缩。信源输出信息率可望进一步压缩。o 此例子使我们初步领悟到信息率失真函数的含义和此例子使我们初步领悟到信息率失真函数的含义和作用作用)21();(DRYXI21D,21naaa,1nnnaa)1log(21nnn)1log(21nnnna)21(DR2.信息率失真函数的性质(1)(1)信息率失真函数的定义域信息率失真函数的定义域o什么是率失真函数的定义域什么是率失真函

31、数的定义域n允许平均失真度允许平均失真度：率失真函数中的自变量：率失真函数中的自变量D D，也就，也就是人们规定的平均失真度是人们规定的平均失真度 的上限值。的上限值。n率失真函数的定义域率失真函数的定义域问题就是在信源和失真函数已问题就是在信源和失真函数已知的情况下，讨论允许失真限度知的情况下，讨论允许失真限度D D 的最小和最大值的最小和最大值问题。问题。nD D的选取必须根据固定信源的选取必须根据固定信源X X的统计特性的统计特性P P(X X)和选定和选定的失真函数的失真函数d d(u ui i,v vj j)，在平均失真度，在平均失真度 的可能取的可能取值范围内。值范围内。DDo（1

32、 1）失真度限度的最小值）失真度限度的最小值D Dminmin 这就是不允许有任何失真的情况。此时要求这就是不允许有任何失真的情况。此时要求失真矩阵中每行至少有一个零元素失真矩阵中每行至少有一个零元素，才能达到零。，才能达到零。直观的理解就是，若信源要求无失真地传输，则直观的理解就是，若信源要求无失真地传输，则信息传输率至少应等于信源输出的信息量信息传输率至少应等于信源输出的信息量-信信源熵源熵 R R(0)=(0)=H H(U U)00000);();(),(minminjijijijivudvupDDDDDDvudo 一般来说一般来说),()/(),()/(),()/(min)(),()/

33、(),()/(),()/(min)(),()/(),()/(),()/(min)(),()/(min)(),()/()(minminsrrsnnnnnssssrisjjiijirisjjiijivuduvpvuduvpvuduvpupvuduvpvuduvpvuduvpupvuduvpvuduvpvuduvpupvuduvpupvuduvpupD221122222212212112112111111111 欲让上式的和式最小，每一项均应最小，欲让上式的和式最小，每一项均应最小，应选择合适的试验信道使和式最小。若令应选择合适的试验信道使和式最小。若令失失真矩阵真矩阵 DD中某一行中的最小元素所对

34、应的试验信中某一行中的最小元素所对应的试验信道的转移概率为道的转移概率为1 1，其余为，其余为0 0，则和式最小，则和式最小，即：，即：则可得信源的最小平均失真度为：则可得信源的最小平均失真度为：rijijivudupD1),(min)(minjj),()/(),()/(vvuduvPvvuduvPjiijjiisjj最小的最小的最小的最小的所有所有011o 例例:设信源为设信源为 信宿为信宿为(0,1)(0,1)o 失真矩阵为失真矩阵为o 计算得计算得313131210)(upU01212110D)();(min)()(),(min)(minminUHVUIRDRvudupDDBrijiji

35、6111001P6103121310311此时此时可有无穷多个）可有无穷多个）相应的试验信道矩阵为相应的试验信道矩阵为n连续信源有连续信源有 。这时虽然信源熵是。这时虽然信源熵是有限的，但信息量是无穷大。实际信道容量总有限的，但信息量是无穷大。实际信道容量总是有限的，无失真传送这种连续信息是不可能是有限的，无失真传送这种连续信息是不可能的。只有当允许失真的。只有当允许失真,并且并且R R(D D)为有限值时，为有限值时，传送才是可能的。传送才是可能的。)(lim0DRD（2 2）失真限度的）失真限度的 最大值最大值D Dmaxmaxo 根据根据R(D)R(D)的定义知，的定义知，R(D)R(D

36、)是在一定的约束条件下是在一定的约束条件下平均互信息的极小值。已知平均互信息是非负的，平均互信息的极小值。已知平均互信息是非负的，其下限值为零。其下限值为零。o 由此可得，由此可得，R(D)R(D)也是非也是非 负的，它的下限值也为负的，它的下限值也为 零。所以当零。所以当R(D)R(D)等于零等于零 时，所对应的时，所对应的平均失真平均失真 度的下界就是失真限度度的下界就是失真限度 的的 最大值最大值 D Dmaxmax。如图所如图所 示。示。n设：当设：当 时，时，R R(D D)已已达到下限值达到下限值“0 0”。若失真限。若失真限度更大时，即度更大时，即当当D D D Dmaxmax时

37、，时，从数学意义上讲，因为从数学意义上讲，因为R R(D D)是非负函数，所以它仍只能是非负函数，所以它仍只能等于等于0 0。这相当于输入。这相当于输入U U和输和输出出V V统计独立。此时统计独立。此时 n而而D Dmaxmax就是在就是在R R(D D)=0)=0时时所对应的平均失真度的最小值。所对应的平均失真度的最小值。maxDD)()/(jijvpuvpmaxDD risjjijirisjjiijivudvpupvuduvpupD1111),()()(),()/()(kjkjvpvudupvvdupDDDvpjvudupDvudupvudupvpvudvpupDjkiriijiriij

38、kkjjjiriijjiijisjriijvpsjrijijivpjj011111111)(),()(),()(min)(),()(),()(),()()(min),()()(min)()(max的传递概率为的传递概率为相应地，若取试验信道相应地，若取试验信道即即中有一个最小值中有一个最小值设设是任意的。是任意的。而而而改变而改变它随它随已知时，令已知时，令和和当当则可得输入则可得输入U U和输出和输出V V统计独立条件下的统计独立条件下的最小平均失真。最小平均失真。kjvpjiriivpsjjsjrijiijvpDDvudupvpvudupvpDjjj)()()(maxmin),()(min

39、)(),()()(min1111),()(minmaxjiriijvudupD1 例例4.1.1 4.1.1 二元信源二元信源 ，相应的失真矩阵，相应的失真矩阵为为 ，计算，计算D Dmaxmax 及相应的试验信道矩阵。及相应的试验信道矩阵。o先计算先计算D Dj j ：D D1 10.60.6 D D2 2=0.4=0.4o所以所以 D Dmaxmax=min(=min(D D1 1,D D2 2)=0.4)=0.4o相应的试验信道矩阵为相应的试验信道矩阵为6.04.021xx00),()(jiriijvudupD11100Po结结 论论nR(D)R(D)的定义域为的定义域为 (D(Dmin

40、min,D,Dmaxmax)；n一般情况下一般情况下D Dminmin=0=0，R(DR(Dminmin)=H(U)=H(U)；n当当DDDDmaxmax时，时，R(D)=0R(D)=0；n当当D DminminD DD Dmaxmax时，时，0R(D)H(U)0R(D)H(U)。信息率失真函数的性质信息率失真函数的性质2 2、率失真函数对允许平均失真度的下凸性率失真函数对允许平均失真度的下凸性对任一对任一0101和任意平均失真度和任意平均失真度D D，D DDDmaxmax，有有 RDRD+(1+(1)D)DR(DR(D)+(1)+(1)R(D)R(D)3 3、率失真函数的单调递减和连续性率

41、失真函数的单调递减和连续性n 由于函数由于函数R R(D D)具有凸状性，保证了它在定义域具有凸状性，保证了它在定义域内是连续的。内是连续的。n 在在D Dminmin D D D Dmaxmax时：在时：在D D=D Dmaxmax处，除某些特例外，处，除某些特例外，S S将从某一个负值跳到将从某一个负值跳到0 0，S S在此点不连续。在在此点不连续。在D D的定义域的定义域0,0,D Dmaxmax 内，内，除某些特例外，除某些特例外，S S将是将是D D的连续函数。的连续函数。1 1、连续信源的信息率失真函数的参量表达式、连续信源的信息率失真函数的参量表达式2 2、高斯信源的信息率失真函

42、数、高斯信源的信息率失真函数7.6 7.6 连续信源的信息率失真函数连续信源的信息率失真函数o条件条件n信源信源X XR R=(=(,),)n信源信源X X的的概率密度函数概率密度函数为为p p(x x)n信道的信道的传递概率密度函数传递概率密度函数为为p p(y y/x x)n信宿信宿Y YR R=(=(,),)n信宿信宿Y Y的的概率密度函数概率密度函数为为p p(y y)nX X和和Y Y之间的之间的失真度失真度d d(x x,y y)0)01 1、连续信源的信息率失真函数的参量表达式、连续信源的信息率失真函数的参量表达式o平均失真度为平均失真度为o平均互信息为平均互信息为 dxdyyx

43、dxypxpdxdyyxdxypD),()/()(),()(1)/(1)(1)()/()()()()/(log)/()()(log)()/(log)/()();(222dyxypdyypdxxpdxxypxpypdxdyypxypxypxpdyypypdxdyxypxypxpYXI其中oB BD D为满足保真度准则为满足保真度准则 的所有试验信道集合。的所有试验信道集合。o 信息率失真函数为信息率失真函数为o 相当于离散信源中求极小值，严格地说，连续集合未必相当于离散信源中求极小值，严格地说，连续集合未必存在极小值，但是一定存在下确界。存在极小值，但是一定存在下确界。oR R(D D)函数的参

44、量表达式：函数的参量表达式：o 一般情况，在失真度积分存在情况下，一般情况，在失真度积分存在情况下，R R(D D)的解存在，的解存在，直接求解困难，用迭代算法计算机求解，只在特殊情况直接求解困难，用迭代算法计算机求解，只在特殊情况下求解比较简单。下求解比较简单。DD”是指下确界”是指下确界“inf);(inf)()/(YXIDRDBUVpdDdRSDRSduuupSSDSRdudvvudevpupuSDvuSd 的的斜斜率率，是是同同样样可可以以证证明明)()(log)()()(),()()()()(),(2(1)(1)高斯信源特性及失真度高斯信源特性及失真度o 设连续信源的概率密度为设连续

45、信源的概率密度为正态分布函数正态分布函数o 数学期望为数学期望为o 方差为方差为o 定义其失真函数为定义其失真函数为d d(u u,v v)=()=(u uv v)2 2，即把均方误差作为失，即把均方误差作为失真，表明通信系统中输入输出之间误差越大，失真越严重，真，表明通信系统中输入输出之间误差越大，失真越严重，严重程度随误差增大呈平方增长。严重程度随误差增大呈平方增长。222221)()(mueupdxupmuduuupm)()()(222 2、高斯信源的信息率失真函数高斯信源的信息率失真函数 dudvvuduvpD),()(duvuvupdvvpdudvvuvupvp22)(/()()(/

46、()().()()(967vdvDvpDudvuvupvD2)(/()()(log)/(maxveDvUh221)(log)/(veDvUh221dvvUhvpVUh)/()()/(dvvDvpe)(log)(log21221根据根据詹森不等式詹森不等式：dvvDvpdvvDvp)()(log)(log)(DlogDeVUh221log)/(DD eDVUh221log)/(2221eUhlog)(21221221 22DeDeVUhUhYUIlogloglog)/()();(DDR2log21)(o 下面讨论 取不同值时的R（D）函数值D2DDR2log21)(12D D 20)D(R2(2

47、)(2)曲线图说明曲线图说明 曲线如右图所示。当信曲线如右图所示。当信源均值不为源均值不为0 0时，仍有这个时，仍有这个结果，因为结果，因为高斯信源的熵高斯信源的熵只与随机变量的方差有关，只与随机变量的方差有关，与均值无关。与均值无关。2222021DDDDRlog)(o 当当D D=2 2时，时，R R(D D)=0)=0 ：这就这就是说，如果允许失真（均方是说，如果允许失真（均方误差）等于信源的方差，只误差）等于信源的方差，只需用确知的均值需用确知的均值m m来表示信来表示信源的输出，不需要传送信源源的输出，不需要传送信源的任何实际输出；的任何实际输出；o 当当D D=0=0时，时，R R

48、(D D)：这点这点说明在连续信源情况下，要说明在连续信源情况下，要毫无失真地传送信源的输出毫无失真地传送信源的输出是不可能的。即要毫无失真是不可能的。即要毫无失真地传送信源的输出必须要求地传送信源的输出必须要求信道具有无限大的容量；信道具有无限大的容量；o 当当0D0D2 2时时：即允许一定的失：即允许一定的失真，传送信源的信息率可以降真，传送信源的信息率可以降低，意味着信源的信息率可以低，意味着信源的信息率可以压缩，连续信源的率失真理论压缩，连续信源的率失真理论正是连续信源量化、压缩的理正是连续信源量化、压缩的理论基础。论基础。o 当当D D=0.25=0.252 2时，时，R R(D D

49、)=1)=1比特比特/符号符号：这就是说在允许均方误：这就是说在允许均方误差小于或等于差小于或等于0.250.252 2时，连续时，连续信号的每个样本值最少需用一信号的每个样本值最少需用一个二进制符号来传输。由香农个二进制符号来传输。由香农第三定理证明了这种压缩编码第三定理证明了这种压缩编码是存在的，然而实际上要找到是存在的，然而实际上要找到这种可实现的最佳编码方法很这种可实现的最佳编码方法很困难的。困难的。信道容量与信息率失真函数的比较 从数学上说，信道容量和信息率失真从数学上说，信道容量和信息率失真函数的问题，都是函数的问题，都是求平均互信息求平均互信息极值问极值问题题，有相仿之处，故常称

50、为对偶问题。，有相仿之处，故常称为对偶问题。(1)(1)求极值问题求极值问题(2)(2)特性特性(3)(3)解决的问题解决的问题(1)(1)求极值问题求极值问题o 平均互信息平均互信息I I(X X;Y Y)是信源概率分布是信源概率分布p p(x xi i)()(i i=1,2,=1,2,n n)或概或概率密度函数率密度函数p p(x x)的的上凸函数上凸函数，根据上凸函数定义，如果，根据上凸函数定义，如果I I(X X;Y Y)在定义域内对在定义域内对p p(x xi i)的极值存在，则该极值一定是的极值存在，则该极值一定是极大值极大值。信道容量就是在固定信道情况下，求平均互信息。信道容量就