《信息论与编码》课件1第3章.ppt

1、第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 3.1 单符号离散无记忆信道及其转移概率单符号离散无记忆信道及其转移概率 3.2 信道疑义度信道疑义度 3.3 范诺不等式范诺不等式 3.4 互信息的定义互信息的定义 3.5 平均互信息的基本性质平均互信息的基本性质 3.6 平均互信息的凸性平均互信息的凸性 3.7 信息系统的可靠性和有效性问题信息系统的可靠性和有效性问题 3.8 连续信道的平均互信息连续信道的平均互信息 习题习题3 第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 3.1 单符号离散无记忆信道及其转移概

2、率单符号离散无记忆信道及其转移概率前面我们已经从信源输出随机变量X的不确定性出发，讨论了信源的平均信息量，即信源的信息熵。在实际的信息传递过程中，信源输出的信息总是需要通过信道的传输来完成，即人们获取信源输出的信息是通过对信道的输出进行观测而实现的。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 因此在前面的讨论中，事实上我们做了一个假定，即信道中没有随机性干扰，通过信道的传输，接收端收到的符号与信源的输出完全一致。然而，在一般的通信系统（见图3-1）中，信道中是存在随机性干扰的。由于信道干扰的影响，其输出随机变量Y与输入随机变量X（信源的输出）并非总是一样。因此对于信息传输过程的考

3、察，不仅需要了解关于信源X的不确定性，而且需要分析经过系统的信息传递，在接收端观测到Y之后对X仍然存在的不确定性。为了便于讨论和建立相应的概念，此处首先建立一个最简单的信道模型单符号离散无记忆信道。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 图3-1 一般的通信系统 第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 1.单符号离散无记忆信道单符号离散无记忆信道图3-2给出了一个单符号离散无记忆信道，其输入和输出分别为离散随机变量X和Y。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 图3-2 单符号离散无记忆信道 第第3章章 离散无记忆信道与互信息离散无记忆信道

4、与互信息 单符号离散无记忆信道有如下两个基本特性。（1）输入和输出随机变量的取值都是离散的，即Xa1,a2,arYb1,b2,bs 信道的输入、输出构成了一个离散的随机变量对(X,Y)，可以借助二维随机变量加以描述。(2)某一时刻信道的输出Y仅取决于即时信道的输入X，与前面时刻信道的输入和输出无关。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 2.单符号离散无记忆信道的转移概率分布单符号离散无记忆信道的转移概率分布由于信道中存在着随机性干扰，信道的输出Y统计依赖于信道的输入X。因此，当信道的输入X=ai时，输出Y=bj发生的概率为条件概率，即P(Y=bj|X=ai)=P(bj|ai

5、)i=1,2,r;j=1,2,s(3.1)第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 这组条件概率P(bj|ai)反映了信道输入X与输出Y之间的统计依赖关系，被称为信道的转移概率。信道转移概率满足：(3.2)10(|)11,2,;1,2,(|)11,2,jisjijP bairjsP bair第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 对于有r种输入和s种输出的单符号离散无记忆信道，反映其输入X与输出Y之间的统计依赖关系的条件概率共有rs个。这样的rs个条件概率可以排成一个r行s列的矩阵这个矩阵被称为信道的转移概率矩阵或简称为信道矩阵。112111222212(|)

6、(|)(|)(|)(|)(|)(|)(|)(|)(|)ssjirrsrP baP baP baP baP baP baP baP baP baP ba 第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 3.2 信道疑义度信道疑义度信道中存在随机性的干扰。信源输出的符号经信道传递，在这种随机性干扰的影响下，输出Y成为输入X的一个“干扰”变形。因此，在接收端观测信道的输出Y之后，收信者仍然不能够确定信源输出的是哪一个符号，对于信源X，将仍然存在一定程度的不确定性。由第2章的讨论可知，在不借助于对信道输出Y的观测的条件下，关于信源X的先验不确定性由信息熵H（X）来度量。因此，信源的信息熵H（

7、X）也称做先验熵。那么，在接收端观测到信道的输出Y之后，仍然存在的关于输入X的不确定性应该怎样度量呢？第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 首先，假设在信道的输出端观测到Y=bj（j固定）的情况。由信道的转移概率分布可知，当Y=bj时，信源输出X=ai的概率为条件概率:P(bj|ai)i=1,2,r因此，在接收到Y=bj之后，我们关于X的后验不确定性为 H(X|Y=bj)表示了接收到Y=bj时关于X的不确定性，称为接收到Y=bj时关于信源X的后验熵。(3.3)11(|)(|)log 1,2,(|)rjijiijH X YbP abjsP ab第第3章章 离散无记忆信道与互信

8、息离散无记忆信道与互信息 由于j=1,2,s，H(X|Y=bj)是一个伴随着随机变量Y=bj的发生而发生，并且与Y=bj有相同概率分布P(bj)的随机变量,因此我们需要一个确定的量，能够从总体上来度量在接收端观测到消息集合Y时关于信源X的平均后验不确定性。为此，定义H(X|Y=bj)的数学期望为条件熵H(X|Y)：第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 11111(|)()(|)1 ()(|)log(|)1 (,)log(|)(|)sjjjsrjijjiijsrijjiijjH X YEP b H X YbP b P abP abP a bP abH X Yb(3.4)第第3

9、章章 离散无记忆信道与互信息离散无记忆信道与互信息 由于信道中存在随机性干扰，因此在对信道输出Y进行观测后，我们对信道的输入X仍具有某种程度的不确定性。条件熵H（X|Y）反映了观测到Y之后对X仍然保留的不确定性。由于经过信息传递仍然存在的这种不确定性是信道中存在的随机性干扰，因此条件熵H（X|Y）被称为信道疑义度。如果信道中不存在随机性噪声，即Y与X有一一对应的确定关系，则在信道的输出端接收到符号集Y之后，便可以完全消除关于符号集X的不确定性，故信道疑义度H（X|Y）=0。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 如果信道中存在随机性干扰，则在信道的输出端接收到符号集Y之后，不

10、能够完全消除关于信源X的不确定性，即仍然存在一定程度的剩余不确定性。但是，由第2章给出的条件熵的基本性质：H(X|Y)H(X)可以知道，观测信道的输出Y之后，信道疑义度必小于等于信源的信息熵。因此，在统计平均意义下，对信道输出Y的观测对于减小关于信源X的不确定性总会有所帮助。由下面例子，我们可以更加明确地了解信道疑义度H(X|Y)满足的关系。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息【例例3.1】图3-3为一个二进制可抹信道。已知输入随机变量X的概率空间为，输出随机变量Y0,?,1。计算：H(X|Y=0)、H(X|Y=?)、H(X|Y=1)和H(X|Y)。解：给定二进制可抹信道的

11、转移概率P(y|x)可以列表表示（见表3-1）。213301,X P第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 图3-3 二进制可抹信道 第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 表3-1 P(y|x)第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 信源的先验熵为 比特/符号依概率关系：可以求出随机变量对(X,Y)的联合概率分布P(x,y)和反向信道参数P(x|y)（见表3-2和表3-3）。2 1()(,)0.91833 3H XH(,)(|)()P x yP y x P x()(,)XP yP x y(,)(|)()P x yP x yP y第第3章章

12、 离散无记忆信道与互信息离散无记忆信道与互信息 表3-2 P(x,y)第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 表3-3 P(x|y)第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 于是有：比特/符号比特/符号比特/符号1(|0)(|0)log(1,0)0(|0)XH X YP x YHP x Y1(|1)(|1)log(0,1)0(|1)XH X YP x YHP x Y11 1(|?)(|?)log(,)1(|?)2 2XH X YP x YHP x Y第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 计算结果表明，通过观测信道的输出了解信源的输出时，如果

13、得到Y=0或Y=1，则对于信源X将不再具有不确定性；当观测到Y=？时，对于X的后验不确定性H（X|Y=？）比其先验不确定性H（X）更大，即由先验不确定性0.9183比特/符号增大为1比特/符号。由此可知，在接收到某一具体符号Y=bj时，可能对于消除关于信源X的不确定性有帮助，也可能不仅无帮助，反而会使这种不确定性进一步增大。但是应当明确，条件熵H(X|Y=bj)伴随着Y=bj的发生而发生，是一个与Y=bj同分布的随机变量。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 对于一个通信系统，其传输信息的能力需要从总体上进行考察和度量。条件熵小于等于其无条件熵，即H(X|Y)H(X)的基本

14、关系表明，在统计平均意义下，对信道输出Y进行观测对于减小或消除关于信源X的平均不确定性总会有所帮助。在此例中，信道疑义度（后验熵）为比特/符号311(|)()(|)0.3333jjjH X YP yH X Yy第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 而关于信源X的先验平均不确定（先验熵）为 H（X）=0.9183 比特/符号 可见，观测信道的输出Y之后，仍然存在的关于信源X的平均不确定性减小了。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 3.3范诺不等式范诺不等式信道疑义度H(X|Y)度量了观测信道输出Y之后对信源X仍然保留的平均不确定性。范诺（Fano）不等式

15、描述了信道疑义度与信息系统的错误概率之间的关系，是反映通信过程中信道疑义度的产生原因和取值大小的一个重要性质。为了推出范诺不等式，先给出下面的引理。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 引理引理3.1 设X、Y、Z为随机变量，对Z的每一取值z，定义则有：H(X|Y)H(Z)+ElogA(z)(3.6)()()(|,)XYA zP y P z x y(3.5)第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 证明：由A（z）的定义可知，A(z)、logA(z)都只与随机变量Z有关，故A(z)、logA(z)与Z有相同的概率分布，即概率分布均为P(z)。考察观测信道的输

16、出Y之后，关于信源X的平均不确定性即条件熵为1(|)(,)log(|)XYH X YP x yP x y第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 对于三维随机变量(X,Y,Z)，(X,Y)发生的边缘概率分布可以由三维随机变量(X,Y,Z)的联合概率分布P(x,y,z)得到，即(3.7)(,)(,)ZP x yP x y z第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 因此(3.8)1(|)(,)log(|)1 (,)log(|)(,)1 ()log()(|)XYXYZZXYH X YP x yP x yP x y zP x yP x y zP zP zP x y第第

17、3章章 离散无记忆信道与互信息离散无记忆信道与互信息 已知对数函数是上凸函数，并且是一组概率分布，对内和式应用Jensen不等式，便有：(3.9)(,)(,/)()P x y zP x y zP z(,)11(,)loglog()(|)()(|)1(,)log()(|)1(,)log()()(,)XYXYXYXYP x y zP x y zP zP x yP zP x yP x y zP zP x yP x y zP yP zP x y第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 因此(3.10)1(,)(|)()log()()(,)1(,)()log()log()()(,)()(

18、)log()()log()ZXYZZXYZP x y zH X YP zP yP zP x yP x y zP zP zP yP zP x yH ZP zA zH ZEA z第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 定理定理3.1（范诺不等式）设X和Y是随机变量，X和Y均取值于离散集合a1,a2,ar。令 pe=p(XY)为错误概率，那么H(X|Y)H2(pe)+pe log(r1)(3.11)第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 证明：在X和Y有同样符号取值集合的通信系统中，我们感兴趣的是在接收端接收到的符号是否与信源输出的符号一致。为此，在接收到Y之后，

19、我们定义随机变量Z：由定理中给出的条件得到随机变量Z的概率分布为(3.12)(3.13)0,1,XYZXYee(0)1(1)P zpP zp 第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 根据前面的引理，对于随机变量Z的每一取值z，定义随机变量Z的函数:并依据定理中的条件计算随机变量的函数A(z)和logA(z)的取值。当Z=0时：(3.14)()()(|,)XYA zP y P z x y(0)()(0|,)()(0|,)XYYXAP y P zx yP yP zx y第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 以y作为参变量，遍取x时：式(3.14)中的内和式：(

20、3.15)(3.16)(0|)1(0|)0P zxyP zxy(0|,)(0|)1XP zx yP zxy第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 故有：和 logA(0)=log1=0 当Z=1时：(3.17)(3.18)(0)()(0|,)()1YXYAP yP zx yP y(1)()(1|,)YXAP yP zx y第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 以y作为参变量，遍取x时：在固定y，改变x时，满足xy的X的取值有r1个，有：(3.19)(3.20)(0|)01(0|)P zxyP zxy(1|,)(1)(0|)(1)XP zx yrP zxyr

21、第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 故有：和logA(1)=log(r1)(3.21)(1)()(1)1YAP yrr第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 由于A(z)、logA(z)是与Z同分布的随机变量，因此可以写出它们的概率空间为ee01,1ZPppeeee(0)(1)11(),11AArA zPpppp第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 eeeelog1log(1)log(),10log(1)1rA zPpprpp第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 因而可以求出：(3.22)(3.23)ee2eee1

22、1()(1)loglog()1H ZppHpppeeeeelog()(1)log(0)log(1)(1)log1log(1)log(1)EA zpApApprpr第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 将式(3.22)和式(3.23)的结果代入引理的结论中，便有：H(X|Y)H(Z)+ElogA(z)=H2(pe)+pe log(r1)范诺不等式是反映信道疑义度H(X|Y)取值大小关系的一个重要定理，在信息系统分析中有明确意义和作用。此时信道的输入和输出有相同的符号集合，即X,Y(a1,a2,ar)，而系统中的错误概率为：pe=P(XY)。范诺不等式所指出的关系表明，在观测信

23、道的输出Y之后，关于随机变量X仍然存在的不确定性由两部分组成。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息(1)首先，需要判断X是否与Y相同。在范诺不等式的证明中，定义了随机变量:因此，判断X是否与Y相同等效于确定随机变量Z为0还是为1，即信息传输过程中是否发生了错误。由于已知信道中发生传输错误的概率为pe，因此由输出“对”或“错”所构成的信源的熵为 H（Z）=H2(pe)，即关于判断“X是否与Y相同”的平均不确定性为H2(pe)。若可判断得出X=Y，则由Y可知X，消除了关于X的不确定性。0,1,XYZXY第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息(2)若已知X与Y不

24、相同，则需要确定X究竟取何种符号。如果由第一步判断已得知XY，则由于X仍有r-1种可能的取值，因此，接收者对于信源X究竟输出了哪一种符号仍然具有不确定性。但是，由熵的极值性可以知道，在已知XY的条件下，关于X究竟取哪一种符号的不确定性不会超过log(r1)。同时，由于XY发生的概率为pe，因此“在XY时，X究竟取何种符号”的平均不确定性不会超过pe log(r1)。可见,范诺不等式的确指出了信息系统中信道疑义度H(X|Y)取值的上限,即满足：H(X|Y)H2(pe)+pe log(r1)第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 3.4 互信息的定义互信息的定义在一般的信息传输过

25、程中，收信者获取信源X输出的信息，是通过信源输出的符号在信道中传递，观测信道的输出来实现的（见图3-4）。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 图3-4 一般的通信系统 第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 由前面的讨论我们已经知道，在收到信源输出消息前对信源X的输出具有不确定性。H（X）表示关于信源X的先验不确定性，而H（X|Y）则表示对信道输出Y观测后关于X的后验不确定性。因为H(X|Y)H(X)，所以通过信息的传递和对Y的观测，接收者对X的不确定性由H(X)减小为H(X|Y)，表明通过信息系统的信息传递，接收者由Y获得了一些关于信源X的信息。第第3

26、章章 离散无记忆信道与互信息离散无记忆信道与互信息 在对各类信息系统进行分析和设计中，需要对信源X的表示、传输信息的能力等方面进行定量的分析和计算。本节我们将从信息的传递使得关于X的不确定性减小入手，建立对一般通信系统中信息传递现象定量描述的基础，引出互信息的定义并深入讨论互信息所具有的性质。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 3.4.1 符号间的互信息符号间的互信息设有离散无记忆信源：经离散无记忆信道传输，信道输出符号集为Yb1,b2,bs1212.nnaaaX,Pppp第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 首先考察接收到单个符号Y=bj时对了解信源

27、符号X=ai的帮助,即分析信息系统中单个符号之间的信息传递关系。如果信道无噪无损，则X与Y一一对应。由于Y与X有确定的对应关系，因此如果接收者收到Y=bj，则可以确定信源的输出符号为X=ai，即由Y=bj获得了信源输出X=ai的信息对于某一信源符号X=ai,我们具有先验不确定性，即单信源符号的自信息。已知X=ai发生的概率P(ai)对符号ai的先验不确定性为符号ai的自信息，即(3.24)1()log()iiI aP a1,2,ir第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 然而，一般的信道中存在着随机性干扰。在随机干扰的作用下，信道的输出符号Y=bj成为信源输出符号X=ai的一

28、个干扰变型。因此，接收到Y=bj之后，对X=ai仍然存在不确定性。已知Y=bj时，X=ai发生的概率为后验概率P(ai|bj)。接收到Y=bj后，接收者关于X=ai的不确定性为P(ai|bj)的函数，即i=1,2,r;j=1,2,s1logijaPb第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 可见，接收到Y=bj后，虽然对X=ai仍然具有不确定性，但是，通过对Y的观测，关于X=ai的不确定性发生了变化。这种变化表明接收者从接收到Y=bj这一事件中得到了关于X=ai的某些信息。于是，我们给出符号间互信息的定义:X=ai的先验不确定性与其后验不确定性之差为符号ai、bj之间的互信息，

29、记做I(ai;bj)。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 互信息I(ai;bj)代表了由接收到的符号Y=bj获得的关于X=ai的信息量。符号间的互信息I(ai;bj)有下面的基本关系。(3.25)11(;)loglog()(|)(|)log 1,2,;1,2,()ijiijijiI x yP xP xyP xyir jsP x第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 1 对称性对称性I(ai;bj)=I(bj;ai)(3.26)证明：(|)(|)()(;)loglog()()()(,)(|)()loglog()()(;)ijijjijiijijjiijjj

30、iP abP abp bI a bP aP a p bP a bP baP aP bP bI b a第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 对称性表明，由Y=bj提供的关于X=ai的信息量等于由X=ai提供的关于Y=bj的信息量。I(ai;bj)与I(bj;ai)的这种对称性也称为交互性，因此I(ai;bj)被称为互信息量。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 2 符号间的互信息量的取值关系符号间的互信息量的取值关系对于信源符号X=ai，其先验不确定性取决于先验（已知）概率分布P(ai)。观测到Y=bj之后，关于X=ai的后验不确定性则取决于信道的统计特性

31、，即后验概率P(ai|bj)。由于X=ai、Y=bj之间的互信息是关于X=ai的先验不确定性和后验不确定性之差，因此实际上此互信息量的取值也取决于信道的特性，即X=ai的后验概率。在不同的信道中，因其统计特性即后验概率P(ai|bj)不同，故X=ai与Y=bj之间的互信息的取值将有不同的特点。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息(1)对于无噪无损信道，X=ai与Y=bj之间为一一对应关系，即P(ai|bj)=1。此时可由Y=bj唯一地确定信源输出X=ai，获得ai的自信息量I(ai)。(2)对于X=ai与Y=bj统计独立的信道，因为P(ai,bj)=P(ai)P(bj)，所

32、以有 可见，由信道的输出Y=bj不能够获得关于X=ai的任何信息，I(ai;bj)=0。(3.27)(|)(,)(;)logloglog10()()()ijijijiijP abP a bI a bP aP a p b第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息(3)对于一般的信道，后验概率P(ai|bj)满足:0P(ai|bj)1 i=1,2,r;j=1,2,s此时互信息的取值大小显然取决于P(ai|bj)与P(ai)的关系。当P(ai)P(ai|bj)1时，通过对信道输出bj的观测，接收者对X=ai的不确定性减小了，即由bj中获得了关于ai的一些信息，此时I(ai;bj)0。第

33、第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 如果0P(ai|bj)P(ai)，则表明观测到Y=bj后，对信源是否发出X=ai的不确定性不仅没有减小，反而增大了，即观测系统的输出后，由Y=bj消除的关于X=ai的不确定性为一负值，有I(ai;bj)0。因此，在已知某信源符号X=ai的概率关系（先验概率）时，通过观测Y=bj所获得的互信息I(ai;bj)的取值可正可负。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 3 任何两个事件之间的互信息量不大于其中任任何两个事件之间的互信息量不大于其中任一事件的自信息量一事件的自信息量(3.28)(,)()1,2,;1,2,(,)()

34、ijiijjI a bI air jsI a bI b第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 证明：由于P(ai|bj)1 i=1,2,r;j=1,2,s因此()1;loglogijijiiiP a bI a bI aP aP a第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 同理由P(bj|ai)1 i=1,2,r;j=1,2,s得出证毕。()1;loglogijijjiiP a bI a bI bP aP a第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息【例例3.2】图3-5所示为二进制可抹信道。计算符号之间的互信息I(x=0;y=0)和I(x=0;y

35、=?)。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 图3-5 二进制可抹信道 第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 解：由例3.1已知，已求出给定二进制可抹信道的信道疑义度。根据符号间的互信息的定义，可以求得：比特21(0),133p xp x(0|0)(0;0)log(0)13 loglog0.585223P xyI xyP x第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 因为y=0与x=0具有确定的概率转移关系，所以接收到y=0后便可以消除信源发出x=0的不确定性。因此，由y=0所获得x=0的信息量为x=0的自信息I(x=0),而 比特(0|?

36、)(0;?)log(0)132 loglog0.415243P xyI xyP x 第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 可见，由于信道中存在干扰，因此在接收到y=?时关于x=0的不确定性更大,即由y=?所获得的关于x=0的信息量为负值。由二进制可抹信道的后验概率可知，P(x=0|y=1)=0，如果观测到y=1，则信源不可能发出0。因此无需考虑y=1与x=0之间的互信息。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 3.4.2 平均互信息平均互信息符号间的互信息I(ai;bj)描述了在对通信系统的输出进行观测时，由Y=bj得到的关于X=ai的信息量。这一符号间的

37、互信息以单个符号的不确定性的变化（改变量）给出了一种信息的度量方法。但是由于X=ai和Y=bj均为随机变量，因此由Y=bj所获得的关于X=ai的互信息I(ai;bj)i=1,2,r;j=1,2,s第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 是一个伴随着X=ai与Y=bj同时发生而发生的随机量，且发生的概率为X=ai和Y=bj构成的联合事件发生的联合概率:P(ai,bj)i=1,2,r;j=1,2,s 显然，使用这样的按照一定概率而发生的随机变量来度量一个信息系统传输信息的能力具有明显的局限性。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 对于通信系统总体而言，其传输信

38、息的特性和能力应当从系统的总体上加以度量，即关于信息量的描述和度量不应当是一个随机变量，而应当是能够从信息系统总体进行描述的一个确定的量。因此，关于信息的描述与度量只能在统计平均的意义下进行测度。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 定义定义3.1 在联合集X，Y上，X=ai与Y=bj之间的互信息I(ai;bj)在联合概率空间:P(ai,bj)i=1,2,r;j=1,2,s中的统计平均值（期望值）称为平均互信息，记做I(X;Y)。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 11111111(;)(,)(,)(,)(|)(,)log()11 (,)log(,)l

39、og()(|)rsjijijijrsijijijirsrsijijijijiijiI X YE I a bP a b I a bP abP a bP aP a bP a bP aP ab 第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 即I(X;Y)=H(X)H(X|Y)此式表明，“Y已知”这一事件使我们关于X的不确定性减少了I(X;Y)，即通过通信系统的传输，接收到符号集Y后平均每个符号获得关于X的信息量为I(X;Y)。因此，I(X;Y)称为X与Y之间的平均互信息，简称为互信息。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 在下面的讨论中，有时将平均互信息表示为此时，x

40、和y分别表示随机变量X和Y的一个取值符号，而表示对随机变量X和Y的全空间求和。(|)(;)(,)log()XYP x yI X Yp x yP xXY第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息【例例3.3】接续例3.1计算所给信源和二进制可抹信道构成的系统中，由Y所得到的关于X的平均互信息。解：前面已求出各种概率的关系,如表3-4和表3-5所示。H(X)=0.9138 比特/符号比特/符号1(|)0.33333H X Y 第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 表3-4 P(x,y),P(x)第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 表3-5 P

41、(x|y)第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 2311(|)(;)(,)log()1111112121 loglogloglog2262616133333331111 loglogloglog(2666242ijijijiP abI X YP a bP a 3)13121 log326626 log3 10.585 比特/符号第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 亦可：I(X;Y)=H(X)H(X|Y)=0.9183-0.33330.585 比特/符号 由前面的计算结果知道，如果在接收端观测到y=?，则由y=?获得的关于x=1的互信息为负值。此处的计算

42、表明，对于整个系统而言，所得的平均互信息是大于0的，即对符号集Y的观测总会使我们对X的了解有所帮助。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 3.5 平均互信息的基本性质平均互信息的基本性质平均互信息具有下面一些基本性质。1 对称性对称性I(X;Y)=I(Y;X)(3.29)第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 证明：因为具有对称性，所以在下面的讨论中我们主要考虑I（X;Y）。(|)()(;)(,)log()()(,)(,)log()()(|)(,)log(;)()XYXYXYP x y P yI X YP x yP xP yP x yP x yP x P

43、yP y xP x yI Y XP y第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 2 非负性非负性 I(X;Y)0(3.30)当且仅当X、Y统计独立时等式成立。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 证明：由定义式：当X、Y统计独立时:(|)()(,)(;)(,)log(,)log()()()()XYXYP x y P yP x yI X YP x yP x yP xP yP x P y(,)()()P x yP x P y第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 故有:（等式成立条件）当X、Y非统计独立时，有(;)(,)log10XYI X Y

44、P x y()()(;)(,)log(,)XYP x P yI X YP x yP x y第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 因为对数函数是上凸函数，所以应用颜森不等式，有所以，I(X；Y)0当且仅当X、Y统计独立时等式成立。证毕。()()(;)log(,)(,)log()()log10XYXyP x P yI X YP x yP x yP xP y第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 由关于符号间的互信息I(ai;bj)的讨论我们知道，I(ai;bj)的取值可正可负,即由于信道中干扰的影响，由某一符号Y=bj获得的关于X=ai的信息有可能是负数。然而

45、,在对全空间(X,Y)作统计平均后，由一个通信系统的输出Y获得的关于X的平均互信息不会为负值。这就是说，从统计平均的意义上讲，观测信道的输出Y总会对消除关于信源X的不确定性有帮助，即由Y总会获得一些关于X的信息，而不会损失信息。只有当信道的输入X和输出Y是统计独立时，由信道的输出Y才不能得到关于信源X的任何信息。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 3 极值性极值性I(X;Y)H(X)(3.31)因为H(X|Y)0，所以有I(X;Y)=H(X)H(X|Y)H(X)。只有在无损信道中，即H(X|Y)=0时，I(X;Y)才能达到其最大值H(X)（等式成立条件）。第第3章章 离散

46、无记忆信道与互信息离散无记忆信道与互信息 4 平均互信息和各类熵的关系平均互信息和各类熵的关系平均互信息I(X;Y)和条件熵H(X|Y)、H(Y|X)、联合熵H(X,Y)有如下关系：I(X;Y)=H(X)H(X|Y)=H(Y)H(Y|X)=H(X)+H(Y)H(X,Y)第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 这些关系的证明可直接由I（X；Y）的定义式得到。例如：(|)()(,)(;)(,)log(,)log()()()()(,)log()(,)log()(,)log(,)(,)log()(,)log()(,)log(,)XYXYXYXYXYYXXYP x y P yP x y

47、I X YP x yP x yP xP yP x P yP x yP xP x yP yP x yP x yP x yP xP x yP yP x yP x y ()()(,)H XH YH X Y第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 平均互信息和各类熵之间的关系可以由图3-6所示的文氏图表示出来。在图3-6中，以X为中心的圆的面积表示关于X的不确定性即熵H(X);以Y为中心的圆的面积表示关于Y的不确定性即熵H(Y);两圆所包围的关于联合事件X、Y的不确定性即X、Y的联合熵H（X，Y）；两圆未重叠的部分分别表示在已知某一随机变量时的不确定性，即条件熵H(X|Y)和H(Y|X

48、);这两个圆相互重叠的阴影区则表示出了由一个随机变量所获得的关于另一个随机变量的信息，即互信息。文氏图不仅从几何关系上形象地表示出了熵、条件熵、联合熵和互信息之间的关系，也有助于我们对这些概念及它们之间的关系的物理意义的理解。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 图3-6 文氏图 第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 3.6 平均互信息的凸性平均互信息的凸性由前面的讨论可知，通过信息传递，我们由信道的输出Y获得的关于信源输出X的信息为平均互信息I(X;Y)。在图3-7所示的通信系统中，如果改变信源（即改变P(x)），则由Y所得到的关于X的互信息I(X;Y

49、)也将随之改变。同理，如果改变信道（改变P(y|x)），那么由Y所得到的关于X的平均互信息I(X;Y)也将随之改变。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 图3-7 简单的通信系统 第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 由平均互信息I(X;Y)的定义式可以明显地看到这一结论。由于其中，因此当信源的概率分布P(x)改变时，或者是信道的转移概率改变时，平均互信息I(X;Y)将随之改变,即平均互信息I(X;Y)是信源概率分布P(x)和信道转移概率分布P(y|x)的函数。这种函数关系可以记做：I（X;Y）=IP(x);P(y|x)(3.32)(|)(;)()(|)

50、log()XYP y xI X YP x P y xP y()()(|)XP yP x P y x第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 由于信源和信道是构成通信系统的主要部分，因此在研究通信系统中的信息传递现象时，深入分析平均互信息I(X;Y)与信源概率分布P(x)和信道转移概率分布P(y|x)的依赖关系是十分有意义的。为此，我们给出平均互信息I(X;Y)与信源概率分布P(x)和信道转移概率分布P(y|x)之间的函数关系所具有的两个重要性质。第第3章章 离散无记忆信道与互信息离散无记忆信道与互信息 定理定理3.2 平均互信息I(X;Y)是信源概率分布P(x)的上凸函数。证明