第二章信息论的基本概念课件.ppt

1、信息无处不在，但：信息无处不在，但：信息用什么表示信息用什么表示？如何表示如何表示？不确定性携载的信息不确定性携载的信息可用随机变量的不确定性或随机性作为信息的表示可用随机变量的不确定性或随机性作为信息的表示“信息是事物运动状态或存在方信息是事物运动状态或存在方式的不确定性的描述式的不确定性的描述”香农香农问题问题1：信息是随机的信息是随机的问题问题2：分析信息的特征，信息量（消息）关系式应反映如下规律：（1）信息量是概率的非负函数，即 I=fP(x)（2）P(x)越小，I越大；反之，I越小，且 P(x)1时，I0 P(x)0时，I（3）若干个互相独立事件构成的消息，所含信息量等于各独立事件信

2、息量之和，也就是说，信息具有相加性，即 IP(x1)P(x2)=IP(x1)+IP(x2)+自信息：自信息：研究思路一研究思路一自信息：自信息：)(1log)(ixpixpf)(1log)(ixpixI)(,),(),(,)(2121nnxpxpxpxxxXPX，自信息：自信息：12()()logiip xI x比特1()()lniip xI x奈特1()()lgiipxI x哈 特一般都采用以一般都采用以“2”2”为底的对数，为了书写简洁，有时把底数为底的对数，为了书写简洁，有时把底数2 2略去不写。略去不写。nixpixpiixpEXH1)(1)(1log)(log)(XP（x）a1 a2

3、 aNp1 p2 pN信息论关心信息论关心：X的的不确定性不确定性不确定性大，获取的信息量多不确定性大，获取的信息量多研究思路二研究思路二不确定性分析：不确定性分析：随机变量随机变量X、Y、ZXP（X）a1 1 a2 2 0.01 0.99ZP（Z）a1 a2 a3 a4 a50.2 0.2 0.2 0.2 0.2YP（Y）a1 1 a2 2 0.5 0.5问题：问题：1、能否度量？、能否度量？小小大大2、如何度量？、如何度量？1、连续性条件：、连续性条件：是是 的连续函数的连续函数2、等概时为单调增函数：、等概时为单调增函数：是是N的增函数的增函数)(),.,(111NgfNNN3、可加性条

4、件：当随机变量的取值不是通过一次试验而是若干、可加性条件：当随机变量的取值不是通过一次试验而是若干次试验确定取值时，次试验确定取值时，X在各次试验中的不确定性可加。在各次试验中的不确定性可加。结论结论：唯一唯一的形式：nNnnnppCpppflog),(121NnnnNpppppH121log),.,(C=常数0，即：),(21npppfnp可加性条件进一步说明：可加性条件进一步说明：当随机变量的取值不是通过一次试验而是若干次试验确定取值时，随机变量在各次试验中的不确定性可加，且其和始终与通过一次试验取得结果的不确定程度相同。1211212121(,.)(,)(,)nmmnnnnnnfpppq

5、qqqqqfpppppfppp12.mnqqqpniiiiniippxpxpH11log)(log)()(X含义：含义：（1）通过观测随机）通过观测随机 变量变量X所获得的所获得的 平均信息量平均信息量（2）对随机变量）对随机变量X的的 “不确定性不确定性”、“随机性随机性”的度量的度量通过观测随机变量通过观测随机变量X所获得的所获得的平均平均信息量信息量（不确定性）（不确定性）各取值的概率分布各取值的概率分布确切取值确切取值 （0）（不确定性）（不确定性）熵的差值熵的差值一定的确切性一定的确切性多次试验后多次试验后通过试验消除了不确定性获得了信息通过试验消除了不确定性获得了信息信息量获得的信

6、息的数量信息量获得的信息的数量XP（x）1 2 3 4 5 61/6 1/6 1/6 1/6 1/6 1/6H(x)=log6=2.58bits=1.79natsX1P（x1）1 2 3 4 5 6 0 1 0 0 0 0H(x1)=0H(x)H(x1)=log6H(x)=log8=3(bit/符号)XP（x）1 2 3 4 5 6 7 81/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 12312345678第一次测量后：X1P（x1）1 2 3 4 5 6 7 81/4 1/4 1/4 1/4 0 0 0 0 H(x1)=log4=2(bit/符号)H(x)H(x1)=1获得

7、获得1bit信息量信息量H(x2)H(x3)=1 获得获得1bit信息量信息量第二次测量后：X2P(x2)1 2 3 4 5 6 7 81/2 1/2 0 0 0 0 0 0 H(x2)=log2=1(bit/符号)第三次测量后：X3P（x3）1 2 3 4 5 6 7 8 1 0 0 0 0 0 0 0 H(x3)=log1=0(bit/符号)H(x1)H(x2)=1 获得获得1bit信息量信息量H(X)表示在获知哪个灯泡是坏的情况前，关于哪个灯泡已损坏的表示在获知哪个灯泡是坏的情况前，关于哪个灯泡已损坏的平均不确定性，即要确定哪个灯泡是坏的，至少需要获得平均不确定性，即要确定哪个灯泡是坏的

8、，至少需要获得3个个bit的信息量，才能完全消除不确定性。的信息量，才能完全消除不确定性。观察随机变量观察随机变量X、Y、ZXP（x）a1 a2 0.01 0.99ZP（z）a1 a2 a3 a4 a50.2 0.2 0.2 0.2 0.2YP（y）a1 a2 0.5 0.5H(X)=-0.01log0.01-0.99log0.99 =0.08（比特/符号）H(Y)=-0.5log0.5-0.5log0.5 =1（比特/符号）H(Z)=5(-0.2log0.2)=2.32（比特/符号）XP（x）A B C D E0.2 0.2 0.2 0.2 0.2XP（x）A B C D E0.25 0.2

9、5 0.25 0.25 0H(X)=5(-0.2log0.2)=2.32（比特）H(X)=4(-0.25log0.25)=2（比特）甲获得的信息甲获得的信息=H(X)-H(X)=0.32（比特）（比特）还需要的信息还需要的信息2.32-0.32=2（比特）（比特）证明一：证明一：NnnnNpppppH121log),.,(因为：因为：10np则：则：0lognp所以：所以：0)(PH证明二：证明二：01x 有：有：1log xx或：xx1log1所以：所以：0)1(log)(111nNnnpNnnpppPHn00.511.522.5300.511.522.533.5412xyxz图示为与两条曲

10、线对比凸性的概念凸性的概念：若对区域若对区域D中任意两点中任意两点 和和 ，均有：均有：则称：区域则称：区域D是凸域。是凸域。理解理解：若两点若两点 和和 在凸域在凸域D内，则内，则 和和 之间的线段也整个在区域之间的线段也整个在区域D内。内。DD,10,)1(D若在凸域内若在凸域内111(),1,2,01,1()()mMMMmmmmmmmmmf xDD mMff 设是凸域 上的，且则对，有：下凸函数L这一结果被称为11()()MMmmmmmmf xffD反之，如是凸域 上的，上凸函数则有：xx1log1作业作业NXHlog)(max其中：其中：N为为X可能取值得个数。可能取值得个数。例例2.

11、4：二元熵函数是对：二元熵函数是对01分布的随机变量所求的熵：分布的随机变量所求的熵：XP（x）0 1 p 1-pH(X)=-plogp-(1-p)log(1-p)=H(p)有：而：可以证明，可以证明，p1/2时，时，H(p)取最大值，为取最大值，为log2=1。而而p=0或或1时，时，H(p)0，故二元熵函数的曲线如图所示：，故二元熵函数的曲线如图所示：11()loglog(1)log1pppHXppppp p1.01.00.50H(p)/bit二元熵函数曲线二元熵函数曲线等概时（等概时（p=0.5)：随机变量具有最大的随机变量具有最大的不确定性不确定性，p=0,1时：时：随机变量的不确定性

12、随机变量的不确定性消失消失。计算机术语计算机术语VS信息单位：信息单位：“比特比特”每一个二元数字所能提供的最大平均信息量为每一个二元数字所能提供的最大平均信息量为1比特比特 符号等概分布的二元数字序列中，每一个二元数字将平均提供符号等概分布的二元数字序列中，每一个二元数字将平均提供1比比特特的信息量的信息量；符号非等概分布时，每一个二元数字所提供的平均信息；符号非等概分布时，每一个二元数字所提供的平均信息量总是小于量总是小于1比特比特XP（x）a1 a2 aNp1 p2 pNnNnnppClog1 证明：可参见朱雪龙证明：可参见朱雪龙应用信息论基础应用信息论基础P2412(,.,)nfppp

13、12(,.,)nfppp条件熵条件熵：理解：理解：观测观测Y以后，仍保留的关于以后，仍保留的关于X的不确定量。的不确定量。信道XY,1(|)(,)log(|)x yH X Yp x yp x y,1()(,)log(,)x yH XYp x yp x y)/()()/()()(YXHYHXYHXHXYH当X,Y相互独立时，有：(,)()()ijijp a bp ap b)()|()()|(jijijibpabpapbap于是有：)()|()()|()()()(YHXYHXHYXHYHXHXYH 理解理解：当随机变量相互独立时，其当随机变量相互独立时，其联合熵联合熵等于单个随机变量的熵之和，等于

14、单个随机变量的熵之和，而而条件熵条件熵等于无条件熵。等于无条件熵。)()|()()|()()()(YHXYHXHYXHYHXHXYH 理解：理解：表明一般情形下：条件熵总是小于无条件熵。表明一般情形下：条件熵总是小于无条件熵。注意：注意：这是平均意义上的这是平均意义上的xpXqXpExqxpxpqpD)()(log()()(log()()|(为概率分布函数为概率分布函数关于关于的的“相对相对”熵。熵。0)|(qpD意义：如果意义：如果p(x)看作系统本身的概率分布看作系统本身的概率分布，q(x)看做看做人们对系统进行估计得到的经验概率分布，则相对人们对系统进行估计得到的经验概率分布，则相对熵反

15、映了由于逼近误差引起的信息量的丢失。熵反映了由于逼近误差引起的信息量的丢失。图像配准)|()();(YXHXHYXI )|()();(XYHYHXYI );(YXI);(XYI);(YXI);(XYI证明略。一般情况下：)(),(min();(0YHXHYXI理解：理解：了解一事物总对另一事物的了解有所帮助了解一事物总对另一事物的了解有所帮助当随机变量当随机变量X和和Y之间有确定的关系时之间有确定的关系时1、X可以唯一确定可以唯一确定Y，此时：此时：0)|(XYH故：故：)();(YHYXI 2、Y 可以唯一确定可以唯一确定X，此时：此时：0)|(YXH故：故：)();(XHYXI);(XYI

16、是对对X和和Y之间之间统计依存程度统计依存程度的信息量度的信息量度)(log)(1Iiiiapap)|()();(YXHXHYXI11(,)log(|)IJijijijp a bp a b11(,)log()IJijiijp a bp a 11(,)(,)log()IJijijijjp a bp a bp b11(,)(,)log()()IJijijijijp a bp a bp a p b另一种定义：另一种定义：11()(,);()(,)JIiijjijjip ap a bp bp a b这里：这里：(,)()(|)()(|)ijijijijp a bp ap bap bp ab(,)()(

17、|)ijijip a bp a p ba(,)()(|)()()()()ijijiijijp a bp a p bap a p bp a p b变换变换得到互信息的另一种表达式：得到互信息的另一种表达式：I（X;Y）是随机变量）是随机变量X的的概率矢量概率矢量p 和和条件概率矩阵条件概率矩阵Q的函数的函数11(|)(|)(,)()(|)jijiIIijijiiip bap bap a bp a p ba(;)I X Y11(,)(,)log()()IJijijijijp a bp a bp a p b111(|)()(|)log()(|)IJjiijiIijijiip bap a p bap

18、a p ba(;)I P Q(|)(|)jijip baq ba有的情况下也把写为问题引出：问题引出：在通信系统中，人们往往对接收到的数据进行信息处在通信系统中，人们往往对接收到的数据进行信息处理和分析，然而，很多处理模式因为缺少正确的抉择，理和分析，然而，很多处理模式因为缺少正确的抉择，而导致信息量的丢失或增加了对原始数据的干扰。下而导致信息量的丢失或增加了对原始数据的干扰。下面我们从信息论的角度加以分析。面我们从信息论的角度加以分析。定义：定义：假设随机变量假设随机变量X,Y,Z的取值空间是由有限个离散点组成，的取值空间是由有限个离散点组成，定义两个随机变量定义两个随机变量X、Y与与Z的互

19、信息为：的互信息为：,(,)(,;)(,)log(,)()ijkijki j kijkp a bcI X Y Zp a bcp a bp c,(|,)(,)log()kijijki j kkp ca bp a bcp c链式法则与信息处理链式法则与信息处理(,;)()(|,)I X Y ZH ZH ZX Y,(|,)(,)log(|,)ijkkiji j kH ZX Yp a bcp ca b 即：即：引理：引理：(,;)(;)I X Y ZI Y Z链式法则与信息处理链式法则与信息处理,(,;)(;)(|,)(,)log(|)(|,)(,)(|,)log)(|)(,)(|,)|(|)0kij

20、ijki j kkjkijijkiji jkkjijkijkji jI X Y ZI Y Zp ca bp a bcp cbp ca bp a bp ca bp cbp a bD p ca bp cb请自己看证明(,;)(;)I X Y ZI X Z同理可证：同理可证：链式法则与信息处理链式法则与信息处理讨论：讨论：上述不等式成立的条件为：对任意的,ijka bc当(,)0ijkp a bc时，有：(|,)(|)kijkjp ca bp cb这表明：如果是一马尔科夫链，则等号成立。XYZ如果是一马尔科夫链；XYZ则也是一马尔科夫链。ZYX链式法则与信息处理链式法则与信息处理(;)(,;)(;)

21、;I X ZI X Y ZI Y Z链式法则与信息处理链式法则与信息处理设是一马尔科夫链；XYZ则(;)min(;),(;)I X ZI X YI Y Z定理：定理：证明：引理部分可得，(;)(,;)I X ZI X Y Z因因是一马尔科夫链；XYZ又利用又利用是马尔科夫链；ZYX利用引理可得利用引理可得(;)(,;)(;)(;)I Z XI Z Y XI Y XI X Y链式法则与信息处理链式法则与信息处理所以：(;)min(;),(;)I X ZI X YI Y Z上述定理表明：对一个信息处理系统，如果系统数据处理过程可用一马尔科夫链进行描述，那么每增加一次处理，系统信息量是递减的。从另一

22、个角度讲，系统每增加一次处理，数据特征的不确定性是递减的，确定性是递增的。多个随机变量下的互信息多个随机变量下的互信息(;,)()(|,)(,)(,|)I X Y ZH XH XY ZH Y ZH Y ZX(;,)()(,)(,)I X Y ZH XH Y ZH X Y Z,(;|)(|)(|,)(,|)(,)log(|)(|)(|)(|,)?ijkijki j kikjkI X YZH XZH XY Zp a bcp a bcp acp bcH YZH YX Z（作业）(;)?I X Y Z本部分内容学生自己推导，本部分内容学生自己推导，作业。作业。I(p;Q)pp信道PXY1Y2Y(|)p

23、 y x1X2X1P2P理解：理解：可以看成信道输入的概率分布可以看成信道输入的概率分布P理解：理解：Q 可以看成信道转移概率分布可以看成信道转移概率分布I(p;Q)QQ信道1信道2信道PXY1Y2Y1Q2QQ12121()(.)()().()()NNNiipp x xxp x p xp xp xX即1(;)(,)NiiiII X YX Y则证明参见傅祖芸证明参见傅祖芸“信息论信息论-基础理论与应用（第基础理论与应用（第二版）二版）”p118121211221(/)(./.)(/)(/).(/)(/)NNNNNiiip y yyx xxp yx p yxp yxp yxQ Y X即1(;)(,

24、)NiiiII X YX Y则1(;)(,)NiiiII X YX Y则(;)()(|)IHHX YYY X证明：121211211()()()(|)(|)()NNNNkkHH YYYH YH YYH YYYYH YY因为信源有可能是有记忆信源，所以信道输出之间有可能相互关联1111(;)()(|)()(|(;)NNkkkkkNNkkkkkkkIH YH YXH YH YXI XYX Y12121122121121211(|)(|)(|)(|)(|)(|)NNNNNNNNkkkHH YYYX XXH YX XXH YX XX YH YX XX YYYH YXY X当信源当信源是无记忆信源时，1

25、1111()()()()(|)()(|)()(|)()NkkNNkkkkkNNkkkkkkkPP XPPPP XP YXP XP YXP X YXXYXY X112211()()()()()NNNNrrjijijijijiippp x yp x yp x yyx y1122121111()()()()()NkNNNrrrjijijijjiiikpp x yp x yp x yp yy121121111111()()()()()log()()log()()NkkNNkksNjjjNNsssjjjjjkkNkkPP YHH YYYppp yp yH Y YYyy1111(;)()(|)()(|)(

26、)(|(;)NNkkkkkNNkkkkkkkIHHH YH YXH YH YXI XYX YYY X作业：作业：作业一作业一:一个出老千的赌徒有一枚灌了铅的色子一个出老千的赌徒有一枚灌了铅的色子A，它掷出，它掷出1 点的概点的概率是率是2/3，掷出，掷出2 至至6 点的概率各为点的概率各为1/15。不幸的是，他将色子。不幸的是，他将色子A 与与另外两枚正常的色子另外两枚正常的色子B、C 混在一起了。为了区分出混在一起了。为了区分出A，他随机抽出，他随机抽出一枚色子并且掷出了一枚色子并且掷出了1 点，那么他判断这个色子为点，那么他判断这个色子为A 的正确概率是的正确概率是多少？他不放心，拿着这个

27、色子又掷了一次，又得到了多少？他不放心，拿着这个色子又掷了一次，又得到了1 点，那么点，那么此时他判断这个色子为此时他判断这个色子为A 的正确概率是多少？的正确概率是多少？,21,41,41210 ppp 1Y 2Y);(1YXI);(2YXI)/(1XYP)/(2XYP 解解 1、设设“在在”这这事件为事件为 ,其出现的概率为其出现的概率为()1 12P a a又设又设“这个特别球的重量比其它的重量是重或轻这个特别球的重量比其它的重量是重或轻”这事件这事件为为 ,其出现的概率为其出现的概率为()1 2P b b22()log()log 12aI aP a 事件 的自信息为22()log()l

28、og 2bI aP b 事件 的自信息为122()()log 12log 24.585II aI b要发现某特定球并知道其比其它球重还是轻所需信息量为比特22212()1 3,()log()log 31.5852.93P cII cP cII 在天平上称一次能判断出三种情况：重、轻、相等，其概率为天平测一次能获得的信息量为比特则至少必须称的次数为：/次，取整u单维连续信源 实际中，某些信源的输出常常是时间和取值都是连续的随机函数。例如语音信号、电视信号。这样的信源称为连续信源连续信源，其输出消息可以用随机过程x(t)来表示。在某一固定的时刻t0，信源 x(t)的输出是一个取值连续的随机变量X。

29、由一个连续随机变量X表示的连续信源，称为单维连续信源单维连续信源。2.3连续随机变量下的熵和互信息连续随机变量下的熵和互信息2.3.1连续随机变量下的微分熵连续随机变量下的微分熵u单维连续信源的表示方法连续信源中消息数是无限的。连续信源可用概率密度函数来描述。离散信源连续信源消息：离散符号信源空间：消息：取值连续的随机变量信源空间：1212,:():,nnXaaaXPP Xppp()1ip a0()1ip a:():()()1baXa,bRXPP Xp xp x或u单维连续信源的熵ban 把落在第i个区间中的全部x值都由xi表示，这样，在a,b中连续取值的连续信源X，即可量化成取离散值xi(i

30、=1,2,n)的离散信源Xn(1)iPP aixai (1)()a iaip x dx()ip x),.,2,1(ni 积分中值定理把区间a,b等分成n个区间，区间宽连续随机变量X落在第i个区间的概率为离散信源Xn的信源空间为Xn的概率空间是一个完备集1212,:():,nnnnnXxxxXPP XP PP()iiPp x其中，11()nniiiiPp xniiaiadxxp1)1()(1)(badxxp1()lognniiiH XPP niiixpxp1)(log)(niiixpxp1)(log)(niixp1log)(0,nnXX )()(lim0XHXHnnniiinxpxp10)(lo

31、g)(limlog)(1niixplog)(log)(lim)(1)1(0niiaiandxxpxpXHloglim)(log)(0badxxpxp微分熵(相对熵)：h(X)(log)()(log)()1(iiiaiaxpxpdxxpxp()()log()bah Xp xp x dx H(X)为X的信息熵，无限大h(X)称为X的微分熵(相对熵)，由p(x)确定注意：相对熵h(X)不代表信源X的平均不确定性，也不代表X每取一个数值所提供的平均信息量，不含有信息的内涵令则001()()lim log()lim logH Xh Xh X（无限大常数）定义h(X)的原因：2、互信息(熵差)，无限大量抵

32、消，具有 信息的特征()h X1、形式上与离散信源熵统一u连续信源的各种熵边界熵h(X)=-p(x)p(x)dxh(Y)=-p(y)p(y)dy条件熵h(Y/X)=-p(xy)p(y/x)dxdy -h(X/Y)=-p(xy)p(x/y)dxdy -联合熵h(XY)=-p(xy)p(xy)dxdy -2.3.2 几种单维连续信源的相对熵几种单维连续信源的相对熵u均匀分布相对熵：),(0),(1)(:)(,:baxbaxabxpXpbaXPXbadxxpxpXh)(log)()(badxabab1log1信源空间：badxabab1)log(1)log(ab 0)(10)(1XhabXhab相对

33、熵无非负性非负性，可为负值u高斯分布：222)(221)(:)(),(:mxexpXpRXPXdxxpmxdxxxpm)()()(221)(dxxp()()ln()h Xp xp x dx 22()221()ln2x mp xedx 22()221()ln()ln2x mp xdxp xedx 2221()ln 2()()22xmp x dxp xdx22211ln 2()()22xmp x dx211ln 22221ln 22e 与方差有关，与均值无关当均值m=0(即方差表示平均功率)时：1()ln 22h XeP相对熵只与平均功率有关211ln 2ln22eu指数分布：)0(0)0(1)(

34、:)(),0(:xxeaxpXpXPXaxadxxxpxEm0)()()ln()h Xp xp x dx 1()lnxap xedxa 1()ln()lnxap xdxp xedxa 1ln()()ap x dxxp x dxaln1aln ae指数分布的相对熵只取决于信源的均值alnlnae2.3.3 相对熵的性质相对熵的性质u相对熵的可加性)()/();()/()/()()/()()(YhXYhXhYXhYXhYhXYhXhXYh并当且仅当X与Y统计独立时，等号成立，所以可得：h(XY)h(X)+h(Y)u相对熵的极值性 詹森不等式：设函数f(x)在区间A中连续，概率密度函数满足 ，当f(

35、x)是上凸函数时，有1)(Adxxp()()()AAf x p x dxfxp x dx因f(x)=logx是上凸函数，设q(x)为另一概率密度函数，所以表明，相对熵存在最大值，与离散信源的熵H(X)类似dxxqxpdxxpxpXhdxxqdxxpxqxpdxxpxqxpp)(log)()(log)()(0)(log)()()(log)()(log)(若等式成立，则表明 达最大值 )(Xhpu相对熵的上凸性设 是单维连续信源X的两种概率密度函数，则有)(),(xqxp1)(,1)(dxxqdxxp0,1,1,()()()xp xq x()()()()()1x dxp xq xdxp x dxq

36、 x dx设则故 亦可看作连续信源X的另一种概率密度函数()x()()log()()log()()log()hXxx dxp xx dxq xx dx 是上凸函数()log()()log()p xp x dxq xq x dx()()pqhXhX()h X()log()()log()p xp x dxp xq x dx u最大相对熵定理 由h(X)的上凸性和极值性可知，h(X)的最大值就是h(X)的极大值。一般，单维连续信源X要受约束条件的限制：2()1;();()p x dxxp x dxmx p x dxP对于单维连续信源，在取值区间a,b内，若有这样一个概率密度函数p(x)，对另一个满足

37、同样约束条件的概率密度函数q(x)，有则这个函数p(x)就是能使单维连续信源的相对熵hp(X)达到最大值的概率密度函数。()ln()()ln()q xp x dxp xp x dx p峰值功率受限最大熵定理对于输出消息的峰值功率受限的单维连续信源，当输出消息对于输出消息的峰值功率受限的单维连续信源，当输出消息的概率密度是均匀分布时，相对熵达到最大值。的概率密度是均匀分布时，相对熵达到最大值。均匀分布的概率密度函数在满足公式(111)时可求：1(,)()0(,)xa bp xbaxa b最大相对熵()log()phXba峰值功率受限实质上就是取值区间受限。当 ，是信源X的输出幅值，是信源X的峰值

38、功率。AbaA2A()log()log()log 2phXbaAAA p均值受限最大熵定理对于输出非负消息且其均值受限的单维连续信源，当输出对于输出非负消息且其均值受限的单维连续信源，当输出消息的概率密度是指数分布时，其相对熵达到最大值。消息的概率密度是指数分布时，其相对熵达到最大值。指数分布的概率密度函数1(0)()0(0)xaexp xax最大相对熵()lnphXea 只取决于限定均值a()phX在满足公式(111)时可求：p平均功率受限最大熵定理对于输出消息的平均功率受限的单维连续信源，当输出消对于输出消息的平均功率受限的单维连续信源，当输出消息的概率密度是高斯分布时，相对熵达到最大值。

39、息的概率密度是高斯分布时，相对熵达到最大值。高斯分布的概率密度函数最大相对熵对于均值为零(m=0)的连续信源，22()221()2x mp xe21()ln 22phXe 1()ln 22phXeP在满足公式(111)时可求：u定义如果信道的输入和输出均是一个取值连续的随机过程，则称为连续信道如果输入和输出均是一个取值连续的随机变量，则称为单维连续信道2.3.4连续随机变量下的互信息u单维连续信道单维连续信道：信道输入和输出均是一个取值连续的随机变量。输入区间：输出区间：信道传递概率密度函数：且若有连续信源：且 接入信道，因信源的取值区间与信道的输入区间 相同，故信源的任一可能取值 都能通过信

40、道，以概率密度 在信道输出端出现信道输出区间 中的某一值 ，从而在信道输出端形成连续随机变量Y,:baX:,Ya b(/),p y xxa b ya,b),)(/(byabxaxyp,:baX:,Ya b(/)1bap y x dy:,:():()Xa bX PP Xp x()1bap x dx,:baX:,Ya b(/)p y x()x axb()y aybu平均交互信息量00(;)()(/)()lim log(/)lim log()(/)()log()()log(/)()log()()log(/)(/)()log()bbbaaabbbbaaaabbaaI X YH XH XYh Xh XY

41、h Xh XYp xp x dxp xyp xy dxdyp xyp x dxdyp xyp xy dxdyp xyp xydxdyp x ()()log()()(/)()log()bbaabbaap xyp xydxdyp x p yp y xp xydxdyp y 可见平均交互信息量有三种表示方式平均交互信息量的3种表示形式：在两信息熵的“熵差”问题中，相对熵替代了信息熵的作用。与离散信道的平均交互信息量相比，输入区间和输出区间代替了单符号离散信道的取值离散的输入符号集合输出符号集合，二重积分代替了二次求和。因而，单维连续信道的平均交互信息量与单符号离散信道的平均交互信息量具有相同的数学特

42、性。(;)()(/)(;)()()()(;)()(/)I X Yh Xh XYI X Yh Xh Yh XYI X Yh Yh YX平均交互信息量的特性 非负性：,当且仅当 统计独立时，交互性：极值性：,但 ,不成立上凸性：如同离散信道的平均交互信息量一样(;)0I X Y(;)0I X Y,X Y(;)(;)I X YI Y X(;)()I X YH X(;)()I X YH Y(;)()I X Yh X(;)()I X Yh Y其中:在信息处理中，经常要对所获得的数据进行进一步分类，并进行归并处理。即将可接受到的有限数据空间(Y,q)归并为另一类处理后的有限数据空间z=D(y),p.它可表

43、示为:信息不增性原理信息不增性原理信号数据处理定理信号数据处理定理1111.(,)(),.jmlsjmlsyyyzzzY qZD ypqqqppp,ljjmzymm而()ljljj mPP yzq即将m个元素归并为一个子集合，其对应概率:经过数据处理以后与处理前相比较，两者从发送端可获得的互信息量是增加了还是减少了，为此有下列定理:信息不增性原理信息不增性原理信号数据处理定理信号数据处理定理 （续）（续）12(2)()(,)(;)(;)(;)0LLHXIXYIXYIXYIXY证明(1)设：(|)ijijPXxYyQ(|)ijlilPXxYzP定理：定理：在信息处理中，数据经归并处理后有如下结论

44、：(1)(;)(;()IXYIXD Y()jjPYyq()ljlPP Yz 信息不增性原理信息不增性原理信号数据处理定理信号数据处理定理 （续）（续）则有：(,)jliilliljijj mP YzXxrp Pq Q;()(;)I X D YI X Y()()()()XXHXHHXHD YY这时，logloglililjijijilijp PPq QQ ;()(;)()logiljijiljmijPI XD YIX Yq QQ jijjijjljmq Qq Q liljijj mp Pq Q 信息不增性原理信息不增性原理信号数据处理定理信号数据处理定理 （续）（续）log()Jensenilj

45、ijiljmijPqQQ 不 等 式由此可见，经过分类、归并处理后信息只能减少，不能增加，故称为信息不增性原理。loglog10lililp P 信息不增性原理信息不增性原理信号数据处理定理信号数据处理定理（续）（续）先证21(;)(;)I X YI X Y112()()()()XXHXHHXHYY Y即：112(;)(;)I X YI X YY111121212112loglogjijijj jij jij jijijjq QQqQQ 112121212()logijj jij jijjij jQqQQ 信息不增性原理信息不增性原理信号数据处理定理信号数据处理定理（续）（续）112121212logJensenijj jij jijjij jQqQQ 不 等 式12112log()j jijijjqQ 111logjijijq Q=log10信息不增性原理信息不增性原理信号数据处理定理信号数据处理定理 （续）（续）同理，可证：故结论成立。它说明，要想减少信息损失，必须付出代价。比如，多次接触信源，但无论接触多少次，也决不会获得超过信源可提供的信息熵H(X)。32(;)(;)I X YI X Y