1、1第第3章信道与信道容量章信道与信道容量n3.1信道分类信道分类n3.2单符号离散信道单符号离散信道n3.2.1 数学模型数学模型n3.2.2 互信息量互信息量n3.2.3 平均互信息平均互信息n3.2.4 信道容量信道容量n3.3信道容量的计算n3.4多符号离散信道多符号离散信道n3.5n3.6信道编码定理2信道分类信道信道分类信道n信道是信息传输的媒介或通道，任务是以信号信道是信息传输的媒介或通道，任务是以信号的方式传输或存储信息。的方式传输或存储信息。n信道可以看成是一个变换器，它将输入事件X变换成输出事件Y。n信道传输中存在噪声和干扰，信道的输入和输出间一般不是确定的函数关系，而是统计
2、依赖关系。n信息论只关心流入和流出信道的信息量。3信道分类按时间特性信道分类按时间特性：n离散信道离散信道：输入和输出都是时间与取值都离散的随机矢量n连续信道连续信道：输入和输出都是时间离散、取值连续的随机矢量n半连续信道半连续信道：输入和输出一个离散一个连续n波形信道波形信道：输入和输出都是时间上连续的随机波形信号4信道分类按输入输出个数信道分类按输入输出个数：n两端信道两端信道（单用户信道）（单用户信道）：输入和输出均只有一个事件集n多端信道多端信道（多用户信道）（多用户信道）：输入和输出中至少有一个具有两个或两个以上的事件集n广播信道广播信道：单一输入，多个输出。n多元接入信道多元接入信
3、道：多个不同信源的信息经编码后送入统一信道传输，接收端译码后再送给不同的信宿。如在卫星通信系统中的应用。5信道分类按统计特性信道分类按统计特性：n恒参信道恒参信道：统计特性不随时间变化n随参信道随参信道：统计特性随时间变化6信道分类按记忆特性信道分类按记忆特性n无记忆信道无记忆信道：信道输出仅与当前的输入有关；n有记忆信道有记忆信道：信道输出不仅与当前输入有关，还与过去的输入有关。7第第3章信道与信道容量章信道与信道容量n3.1信道分类n3.2单符号离散信道单符号离散信道n3.2.1 数学模型数学模型n3.2.2 互信息量互信息量n3.2.3 平均互信息平均互信息n3.2.4 信道容量信道容量
4、n3.3信道容量的计算n3.4多符号离散信道多符号离散信道n3.5连续信道连续信道n3.6信道编码定理8单符号离散信道的数学模型单符号离散信道的数学模型1212X,(,./,()信道统计特设单符号离散信道的输入变量输出变量用条件概率来描述则信道的数学模型可表示为，图性如：nmjix xxy yyp yxpXy/x YY 信道XY干扰9离散信道的数学模型描述离散信道的数学模型描述1111212212221(/)(/)1,(/)(/).(/)(/)(/).(/).(/)(/).(/)jimjijmmnnmnp yxp yxiYp yxp yxp yxp yxp yxp yxPXp yxp yxp
5、yx：信道传递概有率（信道转移概率）信矩阵道10离散信道的数学模型描述（续）离散信道的数学模型描述（续）n数学模型的不同描述方法数学模型的不同描述方法n1.用信道的传递概率集合描述n2.用信道矩阵描述n3.用有向图描述x1=0 x2=1y1=0y2=11-ppp1-p11n一个离散信道如下图，输入、输出符号集分别为 A=0,1和B=0,1，传递概率为n二元对称信道简记为BSC，信道矩阵为n1-p表示单个符号无错误传输的概率；np表示单个符号传输错误的概率。信道模型举例二元对称信道信道模型举例二元对称信道1p1 pppXY10a 21a 10 b21 b_ppppP_11221221(/)(0/
6、0)1(/)(1/1)1(/)(0/1)(/)(1/0)p bapppp bappp bappp bapp12信道模型举例二元删除信道信道模型举例二元删除信道n二元删除信道，n=2,m=3。输入集X取值于A=0,1，输出集Y取值于B=0，2，1。其传递概率、信道矩阵如下n其中np和q表示单个符号无错误传输的概率；n1-p和1-q表示单个符号传输中发生错误的概率。00qp1p1q1123=110 01 (/)1 1,2jijppqqp baiP且有13信道模型举例信道模型举例_二元对称消失信道二元对称消失信道n二元对称消失信道，n=2，m=3。输入、输出集X和Y的取值分别为A=0,1，B=0,x
7、,1。n输出集中多了一个符号x，使得在一定概率下，输入X的输出为“0”还是为“1”不确定，这就使一定概率的X在输出端“消失”了。n二元对称消失信道的传递概率和信道矩阵如下所示：1pq1pqppqq0011x1=1pqqppqpqP14离散信道中的各种概率离散信道中的各种概率n先验概率先验概率n联合概率联合概率n前向概率前向概率n后向（后验）概率后向（后验）概率n输出符号概率输出符号概率 (/)=(/X=)jijip y xP Yyx()()=1,2,iip xP Xxin ()(X,)1,2,;1,2()()(/)()(/)ijijijijijijp x yPx Yyin jmp x yp x
8、p yxp yp xy (/)(X/)ijijp x yPx Yy1()()()njjijip yP Yyp x y15第第3章信道与信道容量章信道与信道容量n3.1信道分类n3.2单符号离散信道单符号离散信道n3.2.1 数学模型数学模型n3.2.2 互信息量互信息量n3.2.2.1 互信息量互信息量n3.2.2.2互信息量的性质互信息量的性质n3.2.2.3条件互信息量条件互信息量n3.2.3 平均互信息平均互信息n3.2.4 信道容量信道容量n3.3信道容量的计算n3.4多符号离散信道多符号离散信道n3.5连续信道连续信道n3.6信道编码定理16 信道的数学模型信道的数学模型n通信系统模
9、型n信源X的概率空间：n信源Y的概率空间：),(,),(),(,)(2121iixpxpxpxxxXPX),(,),(),(,y ,y ,)(2121jjypypypyYPY信源信道信宿XY17对互信息量的直观理解对互信息量的直观理解n在接收到信道输出符号为之前，在接收到信道输出符号为之前，猜测信道输入符号可能的情况，则发的可能性由先验概率决定，其不确定性为：n当接收到信道输出符号当接收到信道输出符号 后后，接收者重新猜测信源发消息的概率就变成条件概率（后验概率），其不确定性为：n在观察到信道输出符号后，获得了信息量在观察到信道输出符号后，获得了信息量，即对信道输入符号是否为的不确定性减小了，
10、这是由于收到消息前后概率空间的概率分布改变所致。jyix )(jiyxpjyjyixix)(ixp1()log()iiI xp x)(1log)(jijiyxpyxI18对互信息量的直观理解（续）对互信息量的直观理解（续）n当接收到yj后，重新估计xi的发生。收信者从不确定到比较确定或完全确定的程度依赖于所获得的信息量。n直观定义：直观定义：互信息量互信息量=不确定程度的减少量不确定程度的减少量n=信宿在收到信宿在收到yj前对信道输入符号的先验不前对信道输入符号的先验不确定度确定度-信宿在收到信宿在收到yj后对信道输入符号后对信道输入符号仍存在的后验不确定度仍存在的后验不确定度 n 则当接收者
11、收到yj后，所获得的信息量为n收信者所获得的信息量随先验概率的增加而减小，随后验概率的增加而增加。()11(;)logloglog()()()ijijiijip xyI x yp xp xyp x19互信息量的定义互信息量的定义n定义定义：对两个离散随机事件集对两个离散随机事件集X和和Y，事，事件件yj的出现给出关于事件的出现给出关于事件xi的信息量，定的信息量，定义为互信息量。义为互信息量。n互信息量的单位与自信息量一样，取决于对数的底。当底为2时，单位为比特bit。)()(log);(ijijixpyxpyxI20互信息量例题互信息量例题n某地二月份天气构成的信源为 n某一天有人告诉你：“
12、今天不是晴天。”81 ,81 ,41 ,21)(),(),(),()(4321雪雨阴晴xxxxXPX息量。与各种天气之间的互信可算出。成后验概率了。其中各种天气发生的概率变后，当收到息把这句话当作收到的消1141312111141)(,41)(,21)(,0)(yyxpyxpyxpyxpyy21互信息量例题（续）互信息量例题（续）111111112212122213423314214134对天气，因()0，(;)0,不必再考虑 与之间的互信息量。对天气可计算出()1 2(;)loglog1()()1 4同理可计算出对、的互信息量(;)(;)1()。这表明也可以理解从分别得到了、各1的信息量。消
13、息使、的不确定度各减少了1为xp xyI xyyxxxbityxyxp xyI xybitp xyxxI xyI xyxxbibixt。t22n互信息为两个不确定度之差，是不确定度被消除的部分，代表已经确定的东西。n角度角度1：观察者在输出端，在收到yj前后，关于xi的不确定度有所变化，从而得到的关于xi的信息量。n角度角度2：观察者在输入端，在发xi前后，关于yj的不确定度有所变化，从而得到的关于yj的信息量。由此可定义xi对yj的互信息量为 ),2,1;,2,1()()()()(log);(mjnixyIyIypxypxyIijjjijij理解互信息量的三个角度：理解互信息量的三个角度：对
14、消除的不确定性的度量对消除的不确定性的度量11(;)loglog()()()()ijiijiijI x yI xI xyp xp xy23互信息量的理解角度互信息量的理解角度3：从通信系统总体观察从通信系统总体观察n通信前通信前，可以认为输入随机变量X和输出随机变量Y之间没有任何关联关系，即X、Y统计独立。根据概率的性质n通信后通信后，输入随机变量X和输出随机变量Y之间由信道的统计特性相联系。)()(1log)()()()(jijijijijiypxpyxIypxpyxpyx有先验不确定度，”的概率和输出端出现“输入端出现)(1log)()()()()()(jijijijijijijiyxpy
15、xIyxpypxypxpyxpyx 有后验不确定度”的联合概率和输出端出现“输入端出现24互信息量的理解互信息量的理解：从通信系统总体观察从通信系统总体观察n通信后，流经信道的信息量，等于通信前后不确定度通信后，流经信道的信息量，等于通信前后不确定度的差的差(;)()()11loglog()()()()(/)=log log()()()111=logloglog()()()(;)()()()1,2,;1,2,ijijijijijijijijiijijijijijI x yI x yIx yp x p yp x yp x yp xyp x p yp xp xp yp x yI x yI xI y
16、I x yin jm其中25互信息量的关系式互信息量的关系式(;)()(/)(;)()(/)()()()1,2,;1,2,ijiijjijjiijijI x yI xI xyI yxI yI yxI xI yI x yin jm其中26第第3章信道与信道容量章信道与信道容量n3.1信道分类n3.2单符号离散信道单符号离散信道n3.2.1 数学模型数学模型n3.2.2 互信息量互信息量n3.2.2.1 互信息量n3.2.2.2互信息量的性质互信息量的性质n3.2.2.3条件互信息量条件互信息量n3.2.3 平均互信息平均互信息n3.2.4 信道容量信道容量n3.3信道容量的计算n3.4多符号离散
17、信道多符号离散信道n3.5连续信道连续信道n3.6信道编码定理273.2.2.2 互信息量的性质互信息量的性质n1.对称性对称性n2.当两个事件统计独立统计独立时，其互信息量为零。n统计独立时，不能从观测一个事件中获得有关另一个事件的任何信息。n3.互信息量可正可负互信息量可正可负n当后验概率大于先验概率时，互信息量为正值；n当后验概率小于先验概率时，互信息量为负值。原因是由于信道干扰，使估计变得更加困难，不确定性增加了。n4.任何两个事件之间的互信息量不可能大于其中的任一事件的自信息量。);();(ijjixyIyxI28互信息量的性质互信息量的性质4的证明的证明n性质性质4：任何两个事件之
18、间的互信息量不可能大于其中的任一事件的自信息量(|)证明：由于互信息量为(;)log()1一般，(|)1，所以(;)log()()1同理，因(|)1，故(;)log()()自信息量()是为了确定事件的出现所必须提供的信息量，也是任何其它事件所能提供的关于事件的最大信息量。ijijiijijiijijijjiiip xyI xyp xp xyI xyI xp xp yxI yxI yp yI xxx29第第3章信道与信道容量章信道与信道容量n3.1信道分类n3.2单符号离散信道单符号离散信道n3.2.1 数学模型数学模型n3.2.2 互信息量互信息量n3.2.2.1 互信息量n3.2.2.2互信
19、息量的性质n3.2.2.3条件互信息量条件互信息量n3.2.3 平均互信息平均互信息n3.2.4 信道容量信道容量n3.3信道容量的计算n3.4多符号离散信道多符号离散信道n3.5连续信道连续信道n3.6信道编码定理303.2.2.3 条件互信息量条件互信息量n定义定义：联合集XYZ中，在给定 的条件下，与 之间的互信息量定义为条件互信息量条件互信息量，定义为n联合集XYZ上还存在 与 之间的互信息量，定义式为kz)()(log);(kikjikjizxpzyxpzyxIixjykjzyix)()(log);(ikjikjixpzyxpzyxI31条件互信息量条件互信息量n进一步表示为n上式表
20、明：一对事件yjzk出现后所提供的有关xi的信息量I(xi;yjzk)等于事件yj出现后所提供的有关xi的信息量I(xi;yj)加上在给定事件yj的条件下再出现事件zk所提供的有关xi的信息量。);();();()()(log)()(log)()(.)()(log);(jkijikjijikjiijijijiikjikjiyzxIyxIzyxIyxpzyxpxpyxpyxpyxpxpzyxpzyxI32条件互信息量条件互信息量-例题例题n某人A预先知道他的三位朋友B、C、D中必定将有一人晚上到他家来，并且这三人来的可能性均相同n其先验概率为：p(B)=p(C)=p(D)=1/3n但是上午A接到
21、D的电话不能来了n把这次电话作为事件E，那么有后验概率p(D/E)=0,p(B/E)=p(C/E)=1/2n下午A又接到C的电话，说晚上开会不能来n把这次电话作为事件F，那么有后验概率p(C/EF)=p(D/EF)=0,p(B/EF)=133条件互信息量条件互信息量-例题（续）例题（续）n事件E（上午的电话）发生后，A获得关于B,C,D的互信息为：n事件EF（两次电话）发生后，A获得关于B,C,D的互信息为：n由此例可以看出：由于I(B;EF)=1.585bit,I(B;E)=0.585bit，事件E、F的同时出现有助于肯定事件B的出现。事件之间的互信息量。事件与所以，无须考虑事件，发生的条件
22、下不会出现，即在事件因为EDDEEDpbitEBIECIbitBpEBpEBI0)(585.0);();(585.03/12/1log)()(log);(事件之间的互信息量。事件与所以，不必考虑均为零，因为其它两个条件概率EFDCFEDpFECpbitBpFEBpFEBI,)(),(585.13/11log)()(log);(34条件互信息量条件互信息量-例题（续）例题（续）n在事件E（上午的电话）发生的条件下，计算条件互信息量n表明，事件EF出现后所提供的有关B的信息量I(B;EF)等于事件E出现后所提供的有关B的信息量I(B;E)加上在给定事件E的条件下，再出现事件F所提供的有关B的信息量
23、。)/;();();(585.0);(;585.1);(12/11log)/()(log)/;(EFBIEBIFEBIbitEBIbitFEBIbitEBpFEBpEFBI可见前面已算出35几种互信息量之间的关系几种互信息量之间的关系n互信息量、联合事件互信息量、条件互信息量三者都是随机变量，其值随着变量xi，yj，zk的变化而变化。n三者之间关系式：);();();(jkijikjiyzxIyxIzyxI36总结总结n自信息量不确定度n互信息量不确定度的减少量n自信息量和互信息量的定义和性质n自信息量和条件自信息量的关系n互信息量和条件互信息量的关系n互信息量具有随机变量的性质，不能作为信道
24、中信息流通的测度。37第第3章信道与信道容量章信道与信道容量n3.1信道分类n3.2单符号离散信道单符号离散信道n3.2.1 数学模型n3.2.2 互信息量n3.2.3 平均互信息平均互信息n3.2.3.1平均互信息量平均互信息量 n3.2.3.2平均互信息的性质平均互信息的性质n3.2.4 信道容量信道容量n3.3信道容量的计算n3.4多符号离散信道多符号离散信道n3.5连续信道连续信道n3.6信道编码定理38互信息量互信息量I(xi;yj)的不足的不足n互信息量互信息量I(xi;yj)n定量地定量地描述输入随机变量发出某个具体消息xi，输出变量出现某一具体消息yj时，流经信道的信息量。n“
25、输入xi，输出yj”是一个概率为p(xi yj)的随机事件，相应的I(xi;yj)也是随xi和yj变化而变化的随机量随机量。nI(xi;yj)不能从整体上作为信道中信息流通的测不能从整体上作为信道中信息流通的测度。度。n这种测度应该是从整体角度整体角度出发，在平均意义平均意义上度量每通过一个符号流经信道的平均信息量。n作为一个测度，它不能是随机量不能是随机量，而是一个确定的量确定的量。39输入输入X、输出、输出Y的离散概率空间的离散概率空间12121,(),(),(),()(),()1,2,.,;1 (),ininiiiniiixxxxXp xp xp xp xP XxXpX PxppinpY
26、PYYP其中以表示输入离散概率空间以表示输出离散概率，对每一个输入离散事件相应的概率为，简记为，有0，且空间12121,(),(),(),(),()1,2,.,;1jmjmjjjmjjjyyyyp yp yp yp yyYp yqqjmq其中，对每一个输出离散事件相应的概率为，简记为，有：0，且40输入输入X、输出、输出Y的联合空间的联合空间XY1121112111,(),(),(),()()()()1;(,()();其中，对每组积事件，相应的二维联合概率为，且以表示二维联合概率有空间 ijnmijnmijijnmijiijijjx yx yx yx yXYp x yp x yp x yp x
27、 yp xyx yXYp x yp x yXY p xyp xp x y11()();()()(/);(/)()(),()()(),有条件概率若对于所有的,事件和彼此统计独立 且有则称集与统计成立,独立 否则称集与统计相关mnjijiijijjiijijiijjjipp yp x yp x yp x yp yxp xyp xp yi jxyXxYXYyp xp yi j41平均条件互信息量平均条件互信息量n定义：定义：在联合集XY上，由 提供的关于集X的平均条件互信息量为由于故平均条件互信息量又可以表示为jy(;)(|)(;)defjijijXI X yp xyI x y(|)(;)log()
28、ijijip xyI x yp x(|)(;)(|)log()ijjijXip xyI X yp xyp x42平均条件互信息量平均条件互信息量n联合集XY上的平均条件互信息量有 n等号成立当且仅当X集中的各个 都与事件 相互独立。n平均条件互信息量表示观测到yj后获得的关于集X的平均信息量。nI(X;yj)仍然是一个随机变量，随yj的变化而变化，不能作为信道中流通信息量的整体测度。(;)0jI X yixjy43平均互信息量平均互信息量n定义定义1：平均互信息量：平均互信息量I(X;Y)是平均条件互信息量是平均条件互信息量I(X;yj)在整在整个集个集Y上的概率加权平均值。上的概率加权平均值
29、。n定义定义2：平均互信息量：平均互信息量I(X;Y)是互信息量是互信息量I(xi;yj)在联合概率在联合概率空间空间P(XY)中的统计平均值中的统计平均值n称I(X;Y)是Y对X的平均互信息量，简称平均互信息平均互信息，也称平均平均交互信息量交互信息量或交互熵交互熵。(;)()(;)jjYI X Yp yI X y1111(/)(;)()(;)()log()nmnmijijijijijijip xyI X Yp x yI x yp x yp x44(|)(;)()log()(|)(;)()(|)log()(;)()(;)(|)(|)(;)loglog()()(;)0(1,2,;1,2,)(;
30、)0defijijXYidefjiijiXYjdefijijXYijjiijijijijp xyI X Yp x yp xp yxI X Yp x p yxp yI X Yp x yI x yp xyp yxI x yp xp yxyI x yijI X Y其中当 和 相互独立时,且平均互信息量的其它定义平均互信息量的其它定义n平均互信息量I(X;Y)的各种定义 45信道疑义度（损失熵）信道疑义度（损失熵）n定义：定义：称输入空间X对输出空间Y的条件熵为信道信道疑义度。疑义度。其中：n含义：含义：输出端收到全部输出符号Y以后，对输入X尚存在的平均不确定程度。这种对X仍存在的不确定性是由传输过程
31、中信道自身引起的由传输过程中信道自身引起的。11(/)(/)()log(/)nmjijijijH X YE H X yp x yp xy1(/)(/)log(/)njijijiH Xyp xyp xy 46信道疑义度（损失熵）信道疑义度（损失熵）n条件熵H(X/Y)表示在已知输出Y的条件下输入X的剩余不确定性，即信道损失信道损失，它是信源符号通过有噪信道有噪信道传递后所引起的信息损失信息损失。n根据平均互信息量I(X;Y)与条件熵H(X/Y)的关系：I(X;Y)等于输入平均信息量H(X)减去信道损失，它反映了信道传输信息的能力。;|I X YH XH X Y47噪声熵噪声熵211噪声熵噪声源带
32、给信道输(/)()log(/)(/)称为，它表示发出随机变量X后，对随机变量Y仍然存在的不确定度，显然这是由信道噪声引起的，它反映的是信道中。对(;)进行展开，可得(;)()(/)因此，如果信道中无噪声，则收发两端必定存在确定的对应关系，此时，信宿熵就等于交互熵。入的平均不确定度噪声熵为0nmijjiijH YXp x yp yxH YXI Y XI Y XH YH YX 48熵、交互熵、损失熵和噪声熵熵、交互熵、损失熵和噪声熵49例：二元删除信道的信道疑义度例：二元删除信道的信道疑义度n传递概率及信道矩阵分别为n输入集X的概率分布为PX=1/4，3/4n则输出集Y的分布为1102212033
33、 P0011？1/21/22/31/311013131221244882033(0)1/8,?)3/8,11/2P YP YP YYXPPP即().50例计算信源熵例计算信源熵|111,(0,0)(0|0)*(0)*2481/8(0,1)0(1,0)0(1,?)1/4(1,1)1/2(/)(0|0)1(0|?)1/3(0|1)0 XXYY XXYXYXYXYXYijX YX YX YX YPPPPPPPPYXP xyPPP的联合分布为 同样可得 (0,?)=，在给定 的条件下，的条件分布，即后向概率为 ，|(1|0)0(1|?)2/3(1|1)111134()(0)*log(1)*loglog
34、 4log0.811(0)(1)443111()(0)*log(?)*log(1)*log1.406(0)(?)(1)X YX YX YXXXXYYYYYYPPPXYH XPPPPH YPPPPPP，输入集和输出集 的熵分别为51例计算信道疑义度例计算信道疑义度11|1(|)()log(/)11(0,0)log(1,0)log(0|0)(1|0)11(0,)log(1,)log(0|)(1|)11(0,1)log(1,1)log0.344/(0|1)(1|1)nmijijijXYXYXYX YXYXYX YX YXYXYX YX YH X YP x yP xyPPPPPPPPPPPP 信道疑义
35、度为？比特 符号1(|)(|)()(/)(|0)(0)(|?)(?)(|1)(1)(|0)0(|?)0.918(|1)0还可以通过下式计算：条件熵分别为，。mjjYYYjH X YH X YP yH XyH X YPH X YPH X YPH X YH X YH X Y52例分析例分析(|?)()(|0,1)?0,1(|)0()可以看出，就是说当观察到。说时，会有更大的不确定性时可确定输入 的值信道疑义度仍然小明。三者平均后的于。YXYXH X YH XH X YH X YH X(|0)0(|?)0.918(|1)0()0.811(|)0.344H X YH X YH X YH XH X Y；
36、。53第第3章信道与信道容量章信道与信道容量n3.1信道分类n3.2单符号离散信道单符号离散信道n3.2.1 数学模型n3.2.2 互信息量n3.2.3 平均互信息平均互信息n3.2.3.1平均互信息量 n3.2.3.2平均互信息的性质平均互信息的性质n3.2.4 信道容量信道容量n3.3信道容量的计算n3.4多符号离散信道多符号离散信道n3.5连续信道连续信道n3.6信道编码定理54平均互信息的性质平均互信息的性质 n基本性质：n非负性n对称性n平均互信息和各类熵的关系n极值性n凸函数性55平均互信息的性质平均互信息的性质 n1、对称性：、对称性：I(X;Y)=I(Y;X)n表示从集Y中获得
37、关于X的信息量等于从集X中获得关于Y的信息量。n2、非负性：、非负性：I(X;Y)0n当且仅当X与Y相互独立时，等号成立。当集X和集Y统计独立时，有I(X;Y)=I(Y;X)=0n它意味着不能从一个集获得关于另一个集的任何信息n3、平均互信息和各类熵的关系、平均互信息和各类熵的关系nI(X;Y)=H(X)-H(X/Y)nI(X;Y)=H(Y)-H(Y/X)nI(X;Y)=H(X)+H(Y)-H(XY)56性质性质1：非负性的证明：非负性的证明()(;)()log;(|)ln1;loglnlog()(;)(|)()1 log(|)()()(|)()log0,()(证明:按照平均互信息的定义式利用
38、不等式和关系式等号成立的条件是 对于都有iijXYijiijjXYijijijjXYXYiip xI X Yp x yp xyxxxxep xI X Yp xyp yep xyp xp yp xyp yei jp xp x|),()0),(;)0即 当且仅当与 相互独立时jjyp yXYI X Y57性质性质2：对称性的证明：对称性的证明n证明：按定义(|)(;)()log()(|)()()log()()()()log()()(|)(;)()log(;)()XYXYXYXYp x yI X Yp xyp xp x y p yp xyp x p yp xyp xyp y p xp y xI X
39、Yp xyI Y Xp y58(;)()(/)(;)()(/:(|)(;)()log()()log()()log(|)(|)(|)(;)()log()log()()()log()()log(|)(;证明 按定义同理 有因为 XYXYXYXYXYXYXYp x yI X Yp xyp xp xyp xp xyp x yp x yp y xI X Yp xyp xyp xp yp xyp yI X YH XH X YI X YH YHp xyyYXpxI X)()(/);(/)()(;)(,)(;)()()(,)(/则又因故YH YH YXH YXH YI X YHI X YH XH YX YH
40、XHXH X YY性质性质3：几个关系式的证明：几个关系式的证明59维拉图维拉图n平均互信息量I(X;Y)和各类熵的关系可用维拉图。n当集X和Y统计独立时，I(X;Y)=0，H(X,Y)max=H(X)+H(Y)H(Y)H(X)H(X,Y)H(X/Y)H(Y/X)60平均互信息的性质（续）平均互信息的性质（续）n4、极值性、极值性nI(X;Y)H(X)；I(X;Y)H(Y)n证明：因为I(X;Y)=H(X)-H(X/Y)，条件熵H(X/Y)为非负，故两个不等式成立。n5、凸函数性、凸函数性n平均互信息量I(X;Y)是信源概率分布p(xi)的上凸函数；n该性质是研究信道容量的理论基础n平均互信息
41、量I(X;Y)是信道传递概率p(yj/xi)的下凸函数。n该性质是研究率失真函数的理论基础61凸函数性的例子二元对称信道n见例2.1.6。62第第3章信道与信道容量章信道与信道容量n3.1信道分类n3.2单符号离散信道单符号离散信道n3.2.1 数学模型n3.2.2 互信息量n3.2.3 平均互信息n3.2.3.1平均互信息量 n3.2.3.2平均互信息的性质n3.2.4 信道容量信道容量n3.3信道容量的计算n3.4多符号离散信道多符号离散信道n3.5连续信道连续信道n3.6信道编码定理63信息传输率信息传输率R与信息传输速率与信息传输速率RtnR定义：定义：信道中平均每个符号所能传送的信息
42、量，单位：比特/符号。n平均互信息I(X;Y)是接收到符号Y后平均每个符号获得的关于X的信息量。n信道的信息传输率就是平均互信息nR=I(X;Y)n如果平均传输一个符号为t秒，则信道每秒平均传输的信息量Rt（单位：比特/秒），一般称为信息传输速率：1(;)tRI X Yt64信道容量的定义信道容量的定义n定义：定义：信道容量为平均互信息的最大值n其单位是比特/符号或奈特/符号。n平均互信息I(X;Y)是输入变量X关于概率分布p(x)的上凸函数。n对于一个固定的信道，总存在一种信源概率分布，使信道传输每一个符号平均获得的信息量最大，即平均互信息I(X;Y)最大，而相应的概率分布p(x)称为。()
43、max(;)defp xCI X Y65信道容量的概念信道容量的概念n平均互信息I(X;Y)为输入分布p(x)的上凸函数，所以一定存在一个使某一特定信道的信息传输率达到极大值（信道容量信道容量C）的信源。n信道容量信道容量C仅与信道的统计特性有关，与信源分仅与信道的统计特性有关，与信源分布无关。布无关。nI(X;Y)的值是由信道传递概率决定的。n信道传递概率矩阵描述了信道的统计特性n信道容量表征信道传送信息的最大能力传送信息的最大能力。n实际信道中传送的信息量一般要小于信道容量，否则在传送过程中将会出现错误。66信道容量与最大信息传输速率信道容量与最大信息传输速率n信道容量C实际上就是一个固定
44、信道的最大的信息传输率。n如果平均传输一个符号需要 t 秒钟，则信道在单位时间内平均传输的最大信息量速率Ct（单位：比特/秒）为：()1max(;)tp xCI X Yt67例二元对称信道的信道容量例二元对称信道的信道容量(;)()()二元对称信道的平均互信息为 如图所示，I X YH wpwpH p(;)I X Yw 1()H p01/21;1/2 1/21/1 平均互信息对信源概率分布 存在一个最大值，即当时，。所以二元对称信道的信道容量单位：比特 秒 为 I X YwwwH wpw pHCCH p681.01.00.80.80.60.60.40.40.20.20p概率C/(/)容量比特
45、符号例（续）例（续）信道容量 仅为信道传递概率 的函数，而与信道输入变量 的概率分布 无关传递概率。不同的二元对称信道（其不同）信道容量也将不同，如下图所示CpXpw69第第3章信道与信道容量章信道与信道容量n3.1信道分类n3.2单符号离散信道n3.3信道容量的计算信道容量的计算n3.3.1 离散无噪信道离散无噪信道n3.3.2 对称离散信道n3.3.3准对称离散信道 n3.3.4 离散信道信道容量一般计算方法n3.4多符号离散信道多符号离散信道n3.5连续信道连续信道n3.6信道编码定理70离散无噪信道离散无噪信道n离散无噪信道的输出Y与输入X之间有着确定的关系，一般有：n无损无噪信道n无
46、损信道n无噪信道 71离散无噪信道无损无噪信道离散无噪信道无损无噪信道n无损无噪信道的输入和输出是一一对应关系，如右图所示。3ara1a2a1b2bsb1111XY3b3100010 001|0|1 jiijjiijrPp bap a bijp bap a bij当时，其信道矩阵为 信道的前向概率和后向概率一致。即72()()|(;)()()C=max(;)max()log此时，信道的噪声熵和损失熵均等于零。故无损无噪信道的平均互信息为它表示信道输出端接收到符号 后，平均获得的信息量就是信源发出每个符号所含有的平均信息量，信道中没有损失信息。其信道容量p xp xH Y XH X YI X Y
47、H XH YYI X YH Xn73离散无噪信道无损信道离散无噪信道无损信道n无损信道的一个输入对应多个互不相交的输出。如右图所示31/2 1/2 0 0 0 0 0 0 3/5 3/10 1/10 0 0 0 0 0 0 10|1|0jiijjinPbBp a bbBH X Y当时，其信道矩阵为信道的后向概率故知信道疑义度5b3a6b3B1a1b2b1B1/21/212a3b4b2B3/51/103/10rarBsbXY74|;|0 (;)ijijH X YI X YH XH X YabBbH Y XI X Y又称为损失熵，它表示信源符号通过有噪信道传输后所引起的信息量的损失。有在这类信道中
48、，因为信源发生符号，并不能确定在信道输出端会发生哪个，而是依一定概率取 中的某个，因此噪声熵。于是，可求出无损信道的平均互信息为()()()()(/)()C=max(;)max()logp xp xH XH YH YXH YI X YH Xn其信道容量离散无噪信道无损信道离散无噪信道无损信道75离散无噪信道无噪信道离散无噪信道无噪信道n无噪信道的一个输出对应着多个互不相交的输入，如右图所示。31 0 01 0 00 1 00 1 00 1 0mP当时，信道矩阵为5ara3a4a1a2a1b2bsb1A2AsA11111111XY760|1|0|0 (;)()()信道的传递概率为 噪声熵。这类信
49、道中，信道输出端接收到以后，并不能断定是哪一个输入符号，因而信道疑义度。可以求出确定信道的平均互信息为其信道容量ijjiijjiaAp baaAHYXbaHXYI X YH YH X()()C=max(;)max()log达到此类信道的信道容量的使信概率分布道输出分布为等概分布输入分布是的。p xp xI X YH Ym77第第3章信道与信道容量章信道与信道容量n3.1信道分类n3.2单符号离散信道n3.3信道容量的计算信道容量的计算n3.3.1 离散无噪信道n3.3.2 对称离散信道对称离散信道n3.3.3准对称离散信道 n3.3.4 离散信道信道容量一般计算方法n3.4多符号离散信道多符号
50、离散信道n3.5连续信道连续信道n3.6信道编码定理78具有对称性的信道具有对称性的信道n信道矩阵具有很强对称性的特殊信道有：离散输入对称信道离散输出对称信道对称信道对称信道强对称信道准对称信道79具有对称性的信道具有对称性的信道离散输入对称信道离散输入对称信道n定义：定义：若一个离散无记忆信道的信道矩阵中，每一行都是其他行的同一组元素的不同排列，则称此类信道为离散输入对称信道离散输入对称信道（行可排列性行可排列性）。1/3 1/3 1/6 1/61/6 1/3 1/6 1/3|log|log|log|ijjiijjijiijjkjkkjiPH YXp x yp yxp yxp yxp yxp
