1、信道容量信道容量第第5章章 信道容量信道容量信道可靠传输信息的能力如何度量？信道可靠传输信息的能力如何度量？信道容量信道容量5.1 信道容量信道容量1、信道容量、信道容量信道给定时，平均互信息信道给定时，平均互信息I(X;Y)对于信源概率对于信源概率P(X)严格上凸严格上凸总能找到总能找到P(X)，使，使I(X;Y)达到最大达到最大定义定义信道给定时平均互信息信道给定时平均互信息I(X;Y)的最大值，用的最大值，用C表示表示表示表示)Y;X(ImaxC)X(P信道容量信道容量2、信道容量的意义、信道容量的意义平均互信息平均互信息I(X;Y)信道中每传输一条消息所信道中每传输一条消息所携带的平均
2、信息量携带的平均信息量信道容量信道容量C给定信道中每传输一条消息所携带给定信道中每传输一条消息所携带的最大平均信息量的最大平均信息量给定信道可靠传输信息的给定信道可靠传输信息的能力能力信道容量信道容量3、信道容量的主要性质、信道容量的主要性质非负性非负性0)Y;X(ImaxC)X(P0C 0)Y;X(I极值性极值性MlogCNlogC信道容量信道容量)Y(H)Y;X(I)X(H)Y;X(IMlog)Y(Hmax)Y;X(ImaxCNlog)X(Hmax)Y;X(ImaxC)X(P)X(P)X(P)X(P0CYX相互独立时，与NlogCYX一一对应时，与信道容量信道容量例例11001)X/Y(P
3、信道的信道容量及达到信道容量的信源概率信道的信道容量及达到信道容量的信源概率)x(P1)x(P0)x(P)y(P)x(P0)x(P1)x(P)y(P22121211)X(H)Y(H0)1log10log0)(x(P)0log01log1)(x(P)X/Y(H21信道容量信道容量)bit(12log)X(Hmax)X/Y(H)Y(Hmax)Y;X(ImaxC)X(P)X(P)X(P21)x(P)x(P21信道容量信道容量例例23/23/100002/12/1)X/Y(P信道的信道容量及达到信道容量的信源概率信道的信道容量及达到信道容量的信源概率)x(P3232)x(P0)x(P)y(P)x(P3
4、131)x(P0)x(P)y(P)x(P210)x(P21)x(P)y(P)x(P210)x(P21)x(P)y(P2214221312121211信道容量信道容量)32log3231log31)(x(P)x(P)X(H)x(P32log)x(P32)x(P31log)x(P31)x(P21log)x(P212)Y(H21222211)32log3231log31)(x(P)x(P)32log3231log31)(x(P)21log212)(x(P)X/Y(H2121信道容量信道容量)bit(12log)X(Hmax)X/Y(H)Y(Hmax)Y;X(ImaxC)X(P)X(P)X(P21)x
5、(P)x(P21信道容量信道容量例例3p1ppp1)X/Y(P信道的信道容量及达到信道容量的信源概率信道的信道容量及达到信道容量的信源概率)p(H)p1log()p1(plogp)p1log()p1(plogp)x(Pplogp)p1log()p1()x(P)X/Y(H21)bit)(p(H1)p(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X(ImaxC?)X(P)X(P)X(P信道容量信道容量如果信宿等概如果信宿等概信宿等概是否可达？信宿等概是否可达？21)x(P)p1()x(pP)y(P21)x(pP)x(P)p1()y(P212211，可达解出21)x(P)x(P21)bit)(p
6、(H1C21)x(P)x(P21信道容量信道容量例例41001)X/Y(P信道的信道容量及达到信道容量的信源概率信道的信道容量及达到信道容量的信源概率)(H)1log()1(log)1log()1(log)x(Plog)1log()1()x(P)X/Y(H21)bit)(H3log)(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X(ImaxC?)X(P)X(P)X(P信道容量信道容量如果信宿等概如果信宿等概信宿等概是否可达？信宿等概是否可达？31)x(P)1()y(P31)x(P)x(P)e(P31)x(P)1()y(P2221110)x(P)x(P0)x(P)x(P)21(2121信道容
7、量信道容量时矛盾！不可达311)x(P)x(P21，设)1)(1()y(P)1()e(P)1()y(P21)(H)(H)1(log)1log()1()1log()1(log)1(log)1)(1log()1)(1()1log()1()Y(H信道容量信道容量)bit(1)(H)1(max)(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X(ImaxC)X(P)X(P)X(P)X(P21)x(P)x(P21信道容量信道容量5.2 对称信道的信道容量对称信道的信道容量1、对称信道、对称信道矩阵中每一行都是集合中各元素矩阵中每一行都是集合中各元素的不同排列的不同排列矩阵行可置换；每一列都是集合矩阵行
8、可置换；每一列都是集合 中各元素的不同排列中各元素的不同排列矩阵列可矩阵列可置换置换q,q,qQM21p,p,pPN21信道的信道矩阵既行可置换又列可置换信道的信道矩阵既行可置换又列可置换定义定义信道容量信道容量例例13.05.02.02.03.05.05.02.03.0)X/Y(P例例23/16/13/16/16/13/16/13/1)X/Y(P信道容量信道容量二进制对称信道二进制对称信道p1ppp1)X/Y(P信道容量信道容量2、对称信道的信道容量、对称信道的信道容量N1)x(P)x(P)x(PN21)q,q,q(HMlogCM21达到信道容量的信源概率达到信道容量的信源概率信道容量信道容
9、量对称信道行可置换对称信道行可置换)q,q,q(Hqlogqqlogq)x(Pqlogq)x(P)x/y(Plog)x/y(P)x(P)X/Y(HM21M1jjjN1iM1jjjiN1iM1jjjiN1iM1jijiji)q,q,q(HMlog)q,q,q(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X(ImaxCM21?M21)X(P)X(P)X(P信道容量信道容量如果信宿等概如果信宿等概信宿等概是否可达？信宿等概是否可达？对称信道列可置换，不失一般性，设对称信道的对称信道列可置换，不失一般性，设对称信道的信道矩阵信道矩阵1NN1N3221pppppppp)X/Y(P信道容量信道容量M1
10、)x(Pp)x(Pp)x(Pp)y(PM1)x(Pp)x(Pp)x(Pp)y(PN123122NN22111N1iiN21pM1)x(P)x(P)x(P解出N,2,1iN1)x(P1)x(NP)x(PiiN1ii信道容量信道容量)q,q,q(HMlogCM21信道容量信道容量二进制对称信道的信道容量二进制对称信道的信道容量)p(H1C21)x(P)x(P21达到信道容量的信源概率达到信道容量的信源概率信道容量信道容量例例33.05.02.02.03.05.05.02.03.0)X/Y(P信道容量及达到信道容量的信源概率信道容量及达到信道容量的信源概率信道矩阵既行可置换又列可置换信道矩阵既行可置
11、换又列可置换对称信道对称信道信道容量信道容量信道容量信道容量)bit(099.02.0log2.03.0log3.05.0log5.03log)2.0,3.0,5.0(H3logC达到信道容量的信源概率达到信道容量的信源概率31)x(P)x(P)x(P321信道容量信道容量例例43/16/13/16/16/13/16/13/1)X/Y(P信道容量及达到信道容量的信源概率信道容量及达到信道容量的信源概率信道矩阵既行可置换又列可置换信道矩阵既行可置换又列可置换对称信道对称信道信道容量信道容量信道容量信道容量)bit(082.061log61231log3124log)61,61,31,31(H4l
12、ogC达到信道容量的信源概率达到信道容量的信源概率21)x(P)x(P21信道容量信道容量3、弱对称信道、弱对称信道信道的信道矩阵行可置换信道的信道矩阵行可置换定义定义信道容量信道容量例例59.01.0001.09.0)X/Y(P例例67.02.01.01.02.07.0)X/Y(P信道容量信道容量二进制擦除信道二进制擦除信道弱对称信道弱对称信道1001)X/Y(P信道容量信道容量4、弱对称信道的信道容量、弱对称信道的信道容量)q,q,q(H)y(Plog)y(PmCM21ks1kkks,2,1kk)y(Pkmkk值个子信道的子信宿等概对应于第数个子信道的信道矩阵列第其中，N1)x(P)x(P
13、)x(PN21达到信道容量的信源概率达到信道容量的信源概率信道容量信道容量弱对称信道行可置换弱对称信道行可置换)q,q,q(Hqlogqqlogq)x(Pqlogq)x(P)x/y(Plog)x/y(P)x(P)X/Y(HM21M1jjjN1iM1jjjiN1iM1jjjiN1iM1jijiji)q,q,q(HMlog)q,q,q(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X(ImaxCM21?M21)X(P)X(P)X(P信道容量信道容量如果信宿等概如果信宿等概信宿等概是否可达？信宿等概是否可达？7.02.01.01.02.07.0)X/Y(P31)x(P7.0)x(P1.0)y(P3
14、1)x(P2.0)x(P2.0)y(P31)x(P1.0)x(P7.0)y(P213212211信道容量信道容量0)x(P)x(P0)x(P1.0)x(P5.02121矛盾！不可达矛盾！不可达按列分为按列分为s个不相交的子集，各子集构成的子信个不相交的子集，各子集构成的子信道道对称信道对称信道对应于子信道的各子信宿等概是否可达？对应于子信道的各子信宿等概是否可达？子信道矩阵列可置换，不失一般性，设第子信道矩阵列可置换，不失一般性，设第k个子信个子信道矩阵道矩阵如果各子信宿等概如果各子信宿等概信道容量信道容量1kkNkN1kN3k2k2k1kkpppppppp)X/Y(P)y(P)x(Pp)x(
15、Pp)x(Pp)y(P)x(Pp)x(Pp)x(PpkN1k23k12kkNkN22k11kN1ikikN21p)y(P)x(P)x(P)x(P解出信道容量信道容量N,2,1iN1)x(P1)x(NP)x(PiiN1iis,2,1kpN1)y(PN1ikik)q,q,q(H)y(Plog)y(Pm)q,q,q(H)y(Plog)y(PCM21ks1kkkM21s1kmkkk信道容量信道容量二进制擦除信道的信道容量二进制擦除信道的信道容量1C21)x(P)x(P21达到信道容量的信源概率达到信道容量的信源概率信道容量信道容量例例79.01.0001.09.0)X/Y(P信道容量及达到信道容量的信
16、源概率信道容量及达到信道容量的信源概率信道矩阵行可置换信道矩阵行可置换弱对称信道弱对称信道二进制擦除信二进制擦除信道道信道容量信道容量9.0009.0)X/Y(P11.01.0)X/Y(P245.0)09.0(21p21)y(P2m21ii 111，1.0)1.01.0(21p21)y(P1m21ii 222，按列分成两个不相交的子集，两个子集构成的子按列分成两个不相交的子集，两个子集构成的子信道矩阵信道矩阵信道容量信道容量)0,1.0,9.0(H1.0log1.0145.0log45.02C信道容量信道容量)bit(9.01.0log1.09.0log9.01.0log1.0)2log9.0
17、(log9.01.0log1.09.0log9.01.0log1.045.0log9.0达到信道容量的信源概率达到信道容量的信源概率21)x(P)x(P21信道容量信道容量7.02.01.01.02.07.0)X/Y(P例例8信道容量及达到信道容量的信源概率信道容量及达到信道容量的信源概率信道矩阵行可置换信道矩阵行可置换弱对称信道弱对称信道信道容量信道容量7.01.01.07.0)X/Y(P12.02.0)X/Y(P24.0)1.07.0(21p21)y(P2m21ii 111，2.0)2.02.0(21p21)y(P1m21ii 222，按列分成两个不相交的子集，两个子集构成的子按列分成两个
18、不相交的子集，两个子集构成的子信道矩阵信道矩阵信道容量信道容量)1.0,2.0,7.0(H2.0log2.014.0log4.02C信道容量信道容量)bit(365.01.0log1.07.0log7.04.0log8.01.0log1.02.0log2.07.0log7.02.0log2.04.0log8.0达到信道容量的信源概率达到信道容量的信源概率21)x(P)x(P21信道容量信道容量5.3 NN信道的信道容量信道的信道容量信道容量信道容量N,2,1jN,2,1i)x/y(Plog)x/y(P)x/y(P)1(jN1jijijN1jjij求出由)2log(C)2(N1jj信道容量信道容
19、量N,2,1j2)y(P)1(CjjN,2,1i)x(PN,2,1j)x/y(P)x(P)y(P)2(iN1iijij求出由达到信道容量的信源概率达到信道容量的信源概率信道容量信道容量限制下的条件极值在1)x(P)Y;X(IN1iiN,2,1i01)x(P)X/Y(H)Y(H)x(P1)x(P)Y;X(I)x(PN1kkiN1kki令M,2,1jN,2,1i)x/y(P)x/y(P)x(P)x(P)x(P)y(PijN1kkjkiij注意到信道容量信道容量1)x(P)x/y(Plog)x/y(P)x(P)y(Plog)y(P)x(PN1kkN1kM1jjkkjkM1jjjiM1jijijM1j
20、ijjij)x/y(Plog)x/y(P)x/y(ePlog)y(Plog)x/y(PN,2,1i0)x/y(Plog)x/y(Pelog)y(Plog)x/y(PM1jijijM1jjij信道容量信道容量N,2,1ielog)x/y(Plog)x/y(P)y(Plog)x/y(PM1jijijM1jjijelogelog)x(PC)x/y(Plog)x/y(P)x(P)y(Plog)x/y(P)x(PN1iiN1iM1jijijiN1iM1jjiji注意到N,2,1iC)x/y(Plog)x/y(P)y(Plog)x/y(PM1jijijM1jjij信道容量信道容量N,2,1jC)y(Plo
21、gjj引入辅助变量当当M=N，方程有唯一解，方程有唯一解N,2,1i)x/y(Plog)x/y(P)x/y(PC)y(P)logx/y(PC)y(Plog)x/y(PN1jijijN1jjijN1jjijN1jjijN,1,2,jj解出信道容量信道容量N,2,1j2)y(PC)y(PlogCjjjjN1jCN1jCN1jCN1jjjjj221222)y(P)2log(CN1jj信道容量信道容量N,2,1j2)y(PCjjN,2,1j)x/y(P)x(P)y(PN1iijijN,1,2,i)x(Pi解出信道容量信道容量例例1信道容量及达到信道容量的信源概率信道容量及达到信道容量的信源概率75.0
22、25.001)X/Y(P082.10811.075.0log75.025.0log25.075.025.000log01log101)1(212121求出由信道容量信道容量)bit(558.0472.1log)22log(C)2(082.10321.0222)y(P679.0222)y(P)1(640.1558.0082.1C2528.0558.00C121428.0)x(P572.0)x(P321.0)x(P75.0)x(P0)y(P679.0)x(P25.0)x(P1)y(P)2(21212211求出由信道容量信道容量5.4 联合信道容量与条件信道容量联合信道容量与条件信道容量1、联合信道
23、容量与条件信道容量、联合信道容量与条件信道容量定义定义联合信道容量联合信道容量信道给定时联合平均互信息信道给定时联合平均互信息I(X1X2Xn;Y1Y2Yn)的最大值，用的最大值，用C(X1X2Xn;Y1Y2Yn)表示表示表示表示)YYY;XXX(Imax)YYY;XXX(Cn21n21)XXX(Pn21n21n21信道容量信道容量条件信道容量条件信道容量信道给定时条件平均互信息信道给定时条件平均互信息I(Xk;YL/X1Xk-1Y1YL-1)的最大值，用的最大值，用C(Xk;YL/X1Xk-1Y1YL-1)表示表示定义定义表示表示信道容量信道容量)YY/Y;X(Imax)YY/Y;X(C)Y
24、/Y;X(Imax)Y/Y;X(C1n1n1)X(P1n1n1121)X(P12111)YYX/Y;X(Imax)YYX/Y;X(C)YX/Y;X(Imax)YX/Y;X(C1n11n2)XX(P1n11n21122)XX(P11222121)YYXX/Y;X(Imax)YYXX/Y;X(C1n11n1nn)XXX(P1n11n1nnn21信道容量信道容量2、信道容量的链式法则、信道容量的链式法则)YYXX/Y;X(C)YYX/Y;X(C)YX/Y;X(C)YY/Y;X(C)Y/Y;X(C)Y;X(C)YYY;XXX(C1n11n1nn1n11n211221n1n112111n21n21信道容
25、量信道容量)YYXX/Y;X(I)YYX/Y;X(I)YX/Y;X(I)YY/Y;X(I)Y/Y;X(I)Y;X(I)YYY;XXX(I1n11n1nn1n11n211221n1n112111n21n21)YYXX/Y;X(Imax)YYX/Y;X(Imax)YX/Y;X(Imax)YY/Y;X(Imax)Y/Y;X(Imax)Y;X(Imax)YYY;XXX(Imax)YYY;XXX(C1n11n1nn)XXX(P1n11n2)XXX(P1122)XXX(P1n1n1)XXX(P121)XXX(P11)XXX(Pn21n21)XXX(Pn21n21n21n21n21n21n21n21n21信道容量信道容量)YYXX/Y;X(Imax)YYX/Y;X(Imax)YX/Y;X(Imax)YY/Y;X(Imax)Y/Y;X(Imax)Y;X(Imax1n11n1nn)XXX(P1n11n2)XX(P1122)XX(P1n1n1)X(P121)X(P11)X(Pn212121111)YYXX/Y;X(C)YYX/Y;X(C)YX/Y;X(C)YY/Y;X(C)Y/Y;X(C)Y;X(C1n11n1nn1n11n211221n1n112111
