1、第第3 3章：信道容量章：信道容量 信道信道，通俗地说，是指以传输媒质为基础的信通俗地说，是指以传输媒质为基础的信号通路。具体地说，信道是指由有线或无线电线路号通路。具体地说，信道是指由有线或无线电线路提供的信号通路。信道的作用是传输信号。提供的信号通路。信道的作用是传输信号。如果信道仅是指信号的传输媒质，这种信道称如果信道仅是指信号的传输媒质，这种信道称为为狭义信道狭义信道；如果信道不仅是传输媒质，而且包如果信道不仅是传输媒质，而且包括通信系统中的一些转换装置，这种信道称为括通信系统中的一些转换装置，这种信道称为广义广义信道信道。信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性
2、有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量。这一章研究在信道中传输的每个符号所携带的信息量，并定义信道容量。P(Y/X)xY信道的数学模型：信道的数学模型：X P(Y/X)Yu信道的输入为一个随机变量信道的输入为一个随机变量X，相应的输出的随机变量为，相应的输出的随机变量为Y。对于一个离散信道应有三个参数：对于一个离散信道应有三个参数：u输入符号集：输入符号集：X=x1，x2，xnu输出符号集：输出符号集：Y=y1，y2，ymu信道转移概率：信道转移概率：P(Y/X)=p(y1/x1),p(y2/x1),p(ym/x1),p(y1/
3、xn),p(ym/xn)信道的分类信道的分类无干扰无干扰信道信道有干扰有干扰信道信道（根据有无干扰）（根据有无干扰）（1）无干扰信道：无干扰信道：输入信号与输出信号输入信号与输出信号 有一一对应关系有一一对应关系1()()(/)0()yfxyfxPyxyfx，并 且（2）有干扰无记忆信道：有干扰无记忆信道：输入与输出无一一对应关系，输入与输出无一一对应关系，输出只与当前输入有关；输出只与当前输入有关；（3）有干扰有记忆信道：有干扰有记忆信道：这是最一般的信道。这是最一般的信道。信道的分类信道的分类有记忆有记忆信道信道无记忆无记忆信道信道（根据有无记忆）（根据有无记忆）输出仅与信道当前输输出仅与
4、信道当前输入有关，与过去输入入有关，与过去输入无关无关输出不仅与信道当前输出不仅与信道当前输入有关，还与过去输入有关，还与过去输入或输出无关输入或输出无关信道的分类信道的分类单符号单符号 信道信道多符号多符号信道信道（根据信道的输入与输出（根据信道的输入与输出随机变量的个数）随机变量的个数）信道的分类信道的分类单用户单用户信道信道多用户多用户信道信道 （1）单用户信道：只有一个输入端和一个输出端）单用户信道：只有一个输入端和一个输出端（2）多用户信道：至少有一端有两个以上的用户，）多用户信道：至少有一端有两个以上的用户，双向通信双向通信（根据输入与（根据输入与输出的个数）输出的个数）信道的分类
5、信道的分类连续信道连续信道u输入输出随机输入输出随机变量取离散值变量取离散值半离散信道半离散信道u输入输出随机变量输入输出随机变量取连续值取连续值离散信道离散信道u输入或输出随机变输入或输出随机变量有一半取离散值、量有一半取离散值、另一半取连续值另一半取连续值nimjjijjibpabpbapYXI11)()(log)();()()()()()(jijijijibapbpabpapbapnimjniijiijijiabpapabpabpapYXI111)()()(log)()();(内容回顾内容回顾nimjijijiapbapbapYXI11)(log)(log)();()()(YXHXH);
6、(YXI)/()(XYHYH)(),();(ijiabpapfYXI.,2,1),(niapi由此可以看出由此可以看出,平均互信息量是信源概率分布平均互信息量是信源概率分布:,.,2,1;.,2,1),/(mjniabpij和表示输入输出关系的条件概率或信道转移概率和表示输入输出关系的条件概率或信道转移概率分布分布:的函数的函数,即即:)();(iapfYXI.,2,1),(niapiu若固定信道若固定信道p(bj/ai)，平均互信息量是信源概率，平均互信息量是信源概率分布分布:的函数的函数,即即:)();(ijabpfYXIu若固定信源若固定信源p(ai)，平均互信息量是信道转移，平均互信息
7、量是信道转移概率分布概率分布:的函数的函数,即即:,.,2,1;.,2,1),/(mjniabpij.)();(的上凸函数是信源固定信道后iapYX，I。，。YX，Iniapaaa，in为信道容量该最大值就可以定义最大信道能够传送的信息率这时可以获得最大值通过适当调整概率分布对信源那么),(,.,2,1),(,.,21I(X;Y)p(ai)naaaX,21p(yj/xi)xYi=1,2,nj=1,2,m信道转移概率矩阵：（见下页）信道转移概率矩阵：（见下页）mbbbY,21 nmnnmmabababababababababppppppppp,212222111211信道容量的定义信道容量的定义
8、 信息传输率是衡量通信质量的一个重要指标，由前面信息传输率是衡量通信质量的一个重要指标，由前面定理知：对于固定信道后，总存在某种输入概率分布定理知：对于固定信道后，总存在某种输入概率分布p(X)，使使I（X;Y）达到最大值，定义这个最大值为达到最大值，定义这个最大值为信道容量信道容量，记，记为为C。（比特（比特/码符号）码符号）使使I(X;Y)达到信道容量的分布达到信道容量的分布p(x)为最佳分布。为最佳分布。)()(max )()(max );(max)()()(XYHYHYXHXHYXICiiiapapap单位时间信道容量单位时间信道容量);(max1)(YXItCiapt 若信道平均传输
9、一符号需若信道平均传输一符号需t秒种，则单位时间的秒种，则单位时间的信道容量信道容量为为:一、离散无噪信道一、离散无噪信道1、一一对应的无噪信道an bna1 b1a2 b21.0000.1000.0100.001naaaX,21nbbbY,21n=ma1 b1a2 b2an-1 bn-1an bn对于上述两种情况对于上述两种情况,X与与Y一一对应一一对应,因此有因此有H(X/Y)=0,H(Y/X)=0,则则:CmaxI(X;Y)H(X)=log np(ai)另一种情况另一种情况:0.001001.0010.0100.0p(ai)a1 b1 b2 b32、具有扩展功能的无噪信道、具有扩展功能的
10、无噪信道a2 b4 b5 b6a3 b7 b8 38372625241312110000000000000000ababababababababppppppppn=3;m=8 H(X/Y)=0，H(Y/X)0，且且 H(X)H(Y),此时此时:C=max H(X)=log n p(ai)对于一个输入对应多个输出的情对于一个输入对应多个输出的情况况,有有:【例【例】设设信道输入符号集信道输入符号集X=x1,x2,x3，输出符号集，输出符号集Y=y1,y2,y3,y4,y5,y6，其信道转移概率矩阵记为，其信道转移概率矩阵记为计算该信道的信道容量。计算该信道的信道容量。63626100000021
11、210000001P Px1x2x3y1y2y3y5y62/61/63/61/21/21y42.根据定义计算信道容量根据定义计算信道容量C从上式可看出，求信道容量从上式可看出，求信道容量C的问题转化为寻找某种分布的问题转化为寻找某种分布p(x)使信源熵使信源熵H（X）达到最大，由最大离散熵定理知道，在信达到最大，由最大离散熵定理知道，在信源消息等概分布时源消息等概分布时 ，熵值达到最大，熵值达到最大，即有即有)(max);(max)()(XHYXICiixpxp31)()()(321xpxpxp3log)(max)(XHCixp1.先考察平均互信息量先考察平均互信息量I（X;Y）=H（X）-H
12、（XY），），在无噪信道条件下，在无噪信道条件下，H（XY）=0，则平均互信息量，则平均互信息量I（X;Y）=H（X）下面对此进行验证下面对此进行验证，根据全概率公式：根据全概率公式：先根据计算出先根据计算出p(yj)，j=1,2,3,4,5,631)()()(iijijxypxpyp613166315531443133312231111)(616331)()()(916231)()()(1816131)()()(612131)()()(612131)()()(31131)()()(jjiiiiiiiiiiiiiiiiiiypxypxpypxypxpypxypxpypxypxpypxypxpy
13、pxypxpyp满足3log311log1)()(log)();(61111jjjjypxypxypYxI3log6121log216121log21)()(log)();(61222jjjjypxypxypYxI3log6163log639162log6218161log61)()(log)();(61333jjjjypxypxypYxI再计算出：再计算出：3、具有归并性的无噪信道、具有归并性的无噪信道a1 b1a2 a3 b2a4100010010001001a5 b3C=max H(Y)=log mp(ai)H(X/Y)0，H(Y/X)=0多个输入变成一个输出多个输入变成一个输出v对于归
14、并性的无噪声信道对于归并性的无噪声信道,在求信道容量时在求信道容量时,调整的调整的仍然是输入端的概率分布仍然是输入端的概率分布p(ai).v如上例在信道容量达最大值如上例在信道容量达最大值:C=log m=log3时时,如何如何来调整来调整输入端的概率分布输入端的概率分布p(ai)?由全概率公式有由全概率公式有:)/()()(5353abpapbp)/()()/()()(4243232abpapabpapbp)/()()/()()(2121111abpapabpapbp得得:1)()(53apbp1)(1)()(432apapbp1)(1)()(211apapbpC=max H(Y)=log
15、mp(ai)要使信道容量达到最大值要使信道容量达到最大值:)(3/1)()()(3,2,1321iiap，bpbpbp概率分布下列方程求出输入端的此时求解即可只要1)(315ap1)(1)(3143apap1)(1)(3121apap二、强对称二、强对称(均匀均匀)离散信道的信道容量离散信道的信道容量nnnnpnpnpnpnppnpnpnppP1111.1.111.11p：传递错误的概率；：传递错误的概率；1-p：传递正确的概率：传递正确的概率naaaX,21nbbbY,21n=mniniiniininjijijininjijijiHnppppnppppapnnpnpppapabpabpapa
16、bpabpapXYH1log)1log()1(1log)1log()1)()1)(1log1()1log()1()()/(log)/()()/(log)/()()/(1niniapapapHnHYHXYHYHYXICiii2)()()(log )(max )/()(max );(max:)(/1)(log)(,.,2,1niiiap，nbpn，YH概率分布下列方程求出输入端的此时求解即可只要达到最大值要使),.,2,1()/()()(1njabpapbpniijij:.;)(,.,2,1上述方程为对于强对称离散信道但定存在但往往这样的分布不一概率分布要求出输入端的下在输出端等概率的条件也就是说
17、，ap，nii)()()(1111.1.111.11)()()()()()(212121nnTnnnapapappnpnpnpnppnpnpnppapapapPbpbpbpnapi1)(易得到当易得到当:nbpi1)(那么，在什么样的信源输出情况下，信道输出能等概分布呢？可那么，在什么样的信源输出情况下，信道输出能等概分布呢？可以证明，输入等概分布时，输出也等概分布以证明，输入等概分布时，输出也等概分布.)1,.,1,(log1log)1log()1(loglog:222npnppHnnppppnHnCni这样有.1,.,1,:,.,2,1),(:有关和矢量该信道容量与即为为信道容量可以获得最
18、大信息量强对称信道为等概率时对信源分布上式说明npnppn。，niapi若若n=2,是二元对称信道是二元对称信道,C1H(p),其中其中 H(p)=-(1-p)log(1-p)+plogp)二进制均匀信道容量曲线二进制均匀信道容量曲线Cpa1 b1a2 b2uP=1/2,互信息量最小互信息量最小;uP=0或或1,互信息量最大互信息量最大,此时其时是一一无噪声信此时其时是一一无噪声信道道.矩阵中的每行都矩阵中的每行都 是集合是集合P=p1,p2,pn中的中的诸元素的不同排列，称矩阵的诸元素的不同排列，称矩阵的行是可排列的行是可排列的。矩阵中的每列都是集合矩阵中的每列都是集合Q=q1,q2,qm中
19、的中的诸元素的不同排列，称矩阵的诸元素的不同排列，称矩阵的列是可排列的。列是可排列的。三、对称离散信道的信道容量三、对称离散信道的信道容量nm 如果一个离散信道的信道转移矩阵中的每一行都是由如果一个离散信道的信道转移矩阵中的每一行都是由同一组元素的不同组合构成的，并且每一列也是由这一组同一组元素的不同组合构成的，并且每一列也是由这一组元素组成的，则称为元素组成的，则称为对称信道对称信道,对称信道的行和列都是可对称信道的行和列都是可排列的。排列的。如：如：1111336611116633P和和111236111623111362Pu对称信道中，当对称信道中，当nmnmnm，Q Q是是P P的子集
20、；当的子集；当n=mn=m时，时，P=QP=Q。A强对称信道是对称信道的特例强对称信道是对称信道的特例.判断下列矩阵表示的信道是否是对称信道判断下列矩阵表示的信道是否是对称信道?61316131616131313p 40.7 0.2 0.10.1 0.2 0.7p 31316161616131311p3121612161316131212pminimjijijinimjijijiHabpabpapabpabpapXYH )/(log)/()()/(log)/()()/(1111Hmi,也与也与X无关无关,是一常量是一常量:H(q1,q2,qm)mimiapapapHmHYHXYHYHYXICi
21、ii2)()()(log )(max )/()(max );(max:)(/1)(log)(,.,2,1niiiap，nbpm，YH概率分布下列方程求出输入端的此时求解即可只要达到最大值要使napi1)(即当即当:nbpi1)(那么，在什么样的信源输出情况下，信那么，在什么样的信源输出情况下，信道输出能等概分布呢？可以证明，输入道输出能等概分布呢？可以证明，输入等概分布时，输出也等概分布等概分布时，输出也等概分布.强对称信道与对称信道强对称信道与对称信道比较比较：强对称对称n=m n与m未必相等 矩阵对称 矩阵未必对称P=Q P与Q未必相等行之和，列之和均为1行之和为1四、准对称信道离散信道的
22、信道容量四、准对称信道离散信道的信道容量若信道矩阵的行是可排列的，但列不可若信道矩阵的行是可排列的，但列不可排列，如果把列分成若干个不相交的子集，排列，如果把列分成若干个不相交的子集，且由且由n n行和各子集的诸列构成的各个子矩阵行和各子集的诸列构成的各个子矩阵都是可排列的都是可排列的，则称相应的信道为准对称，则称相应的信道为准对称信道。例如下面的矩阵：信道。例如下面的矩阵：818121418181412111/3 1/3 1/6 1/61/6 1/3 1/6 1/3P可划分为：可划分为：1/31/61/61/31/31/31/61/6又如又如:假设此时将矩阵的列分为假设此时将矩阵的列分为s个
23、子集，每个子集个子集，每个子集的元素个数分别是的元素个数分别是m1，m2，ms。ssmjjsjsmjjjmjjjbpbpbpbpbpbpYH)(log)(.)(log)()(log)()(1111令第令第k个集合中概率的平均值为个集合中概率的平均值为:skmbpbpkmjjkk,.,2,1,)()(1可以证明可以证明:若子矩阵若子矩阵Pk具有可排列性具有可排列性,只要信源只要信源X呈等概率分布呈等概率分布,就可使第就可使第k个子集的输出呈等概率个子集的输出呈等概率分布分布,由此可以证明由此可以证明:),.,()(log)(2112mskkkkqqqHbpbpmCkmkkmqqqqq：H2121
24、log),.,(其中详见详见P80,例例3.2.1 对一般离散信道而言，求信道容量，就是在固定信对一般离散信道而言，求信道容量，就是在固定信道的条件下，对所有可能的输入概率分布道的条件下，对所有可能的输入概率分布p(ai)，求平均，求平均互信息的极大值。采用拉格朗日乘子法来计算。互信息的极大值。采用拉格朗日乘子法来计算。niiaPYXI1)();(设0)(:iaP下面解方程组拉格朗日乘子法，就是求函数拉格朗日乘子法，就是求函数f(x1,x2,.)在在g(x1,x2,.)=0的约束条件下的极值的方法。具体方法就是令的约束条件下的极值的方法。具体方法就是令:F(x1,x2,.)=f(x1,x2,.
25、)+g(x1,x2.)则求极值点的方程为：则求极值点的方程为：F/xi=0（xi即为即为x1、x2等自变量）等自变量）g(x1,x2.)=0条件为:1)(1niiap()()(/)njijiip bp a p ba()(/)()jjiidp bp badp aexxloglnlognimjijijimjjjabpabpapbpbpYXI111)/(log)/()()(log)();(/)log()(/)log()(/)log(/)0mjijjijimjijijp b ap bp b aep ap b ap b a11(/)log(/)(/)log()log0mmjijijijjjp b ap
26、b ap b ap be11(/)log(/)(/)log()logmjijijmjijjp bap bap bap be(1)两边乘两边乘p(ai)，并求和，则有：，并求和，则有：2112112()()log()()()log()lognmijijiijnmijijijp a p bap bap a p bap be2(;)logI X Ye2logCe(2)那么，在什么样的信源输出情况下，信道传输率达到此最大值那么，在什么样的信源输出情况下，信道传输率达到此最大值,即信道容即信道容量量?将（将（2 2）代入（）代入（1 1），则有：），则有：(/)log(/)(/)log()(/)log(
27、)mjijijmjijjmjijjp bap bap bap bCp bap bC（3）log()jjp bC令（4）(/)log(/)(/)mjijijmjjijp bap bap ba则（则（3）变为：）变为：:22(4)log()()2122logjjjmjjjjmmCjjjmCjp bCp bC由求出（5）（6）（7）（m1jj2C2log1(5)()2()()(/)()jCjnjijiiip bp bp ap bap a由求出由求出（8）（9）并验证。求由求由求由求由)()9(.4);()8(.3;)7(.2;)4(.1ijjapbpC：信道矩阵如下，求信道容量：信道矩阵如下，求信道
28、容量C C。1011221(1)log(1)log(1)loglog(1)1log(1)0log01log121210111121(1)log2log2mjjC 111()2()2211(1)jCjCCp bp b 23推推 出出2111()1()(1)1(1)p bp b )()()()()(2121111abpapabpapbp42121222()()(/)()(/)p bp a p b ap a p b a11222()()()()(1)()p bp ap ap bp a11111121()1(1)()1(1)p ap a 得到得到100)(),(21apap符合要求符合要求设信道转移矩
29、阵为设信道转移矩阵为:例：1110244010000101110442P可列方程组：练习练习12423134111111111logloglog24422444400111111111logloglog442444422(/)log(/)(/)mjijijmjjijp bap bap ba由由得得解得解得:解之得：231402 20025log(2222)loglog5 12C由得）（m1jj2C2log解得解得:解之得：2 log5 1141()()210P bP b 0 log5 1234()()210P bP b由111()2()2211(1)jCjCCp bp b 解得解得:解之得：1
30、4234()()3011()()30P aP aP aP a1(5)()2()()(/)()jCjnjijiiip bp bp ap bap a由求出由求出(i,j=1,2,3,4)u具有一一对应的无噪信道具有一一对应的无噪信道u输入输入X,输出输出Y符号集的元素个数相等，设均为符号集的元素个数相等，设均为nuX,Y有确定的对应关系有确定的对应关系uI(X,Y)=H(X)=H(Y);于是有于是有C=log2n，这表明具有一，这表明具有一一对应的确定关系的无噪信道达到信道容量，其值就一对应的确定关系的无噪信道达到信道容量，其值就是信源是信源X的最大熵值的最大熵值u具有扩展性能的无噪信道具有扩展性
31、能的无噪信道u输入输入X符号集个数符号集个数n小于输出小于输出Y符号集个数符号集个数m，即，即nmuI(X,Y)=H(X);于是有于是有C=log2nu具有归并性能的无噪信道具有归并性能的无噪信道uI(X,Y)=H(Y);于是有于是有C=log2m小结小结u强对称离散信道强对称离散信道u每个符号的正确传递概率为每个符号的正确传递概率为p=1-p,其他其他n-1个符号个符号的错误传递概率为的错误传递概率为p/(n-1)u输入输入X,输出输出Y符号集的元素个数相等，设均为符号集的元素个数相等，设均为nuX,Y有确定的对应关系有确定的对应关系uI(X,Y)=H(X)=H(Y);于是有于是有C=log
32、2n，这表明具有，这表明具有一一对应的确定关系的无噪信道达到信道容量，其一一对应的确定关系的无噪信道达到信道容量，其值就是信源值就是信源X的最大熵值的最大熵值)(max)/()(max);(max)1log1()1(log)()/()()()(221nixpxpxpninininiiHYHXYHYHYXICnpnpnppHHHxpXYHiii小结小结u可排列可排列u如果一个矩阵的每一行都是同一集合如果一个矩阵的每一行都是同一集合 中诸元素的不同排列，则称矩阵的行是可排列的；中诸元素的不同排列，则称矩阵的行是可排列的；同理，若矩阵的列满足此条件，则称矩阵的列是可同理，若矩阵的列满足此条件，则称矩
33、阵的列是可排列的；若矩阵的行、列都是可排列的，则称该矩排列的；若矩阵的行、列都是可排列的，则称该矩阵是可排列的阵是可排列的u对称信道对称信道u信道矩阵是信道矩阵是nm可排列矩阵可排列矩阵 ,.,21mqqqQ)(max)/()(max);(max)/(log)/()()/()()()(121mixpxpxpmjijijmiminimiiHYHXYHYHYXICxypxypHHHxpXYHiii小结小结；求jijmjijmjjijabpabpabp),/(log)/()/(121v一般步骤一般步骤 1。2。3。4。C2Cm1jj求）（由,log2)(求)(jCjbp,2bpj由)(求)/()()
34、(1iijniijap,abpapbp由小结小结多符号离散信道多符号离散信道 多符号信源通过离散信道传输形成多符号信源通过离散信道传输形成多符号离散信道。多符号离散信道。实际离散信道的输入和输出常常是实际离散信道的输入和输出常常是随机变量序列，用随机矢量来表示，称随机变量序列，用随机矢量来表示，称为为离散多符号信道离散多符号信道.如图所示如图所示。实际离散信道往往是有记忆。实际离散信道往往是有记忆信道，信道，为了简化起见，我们主要研究为了简化起见，我们主要研究离散无记忆信道离散无记忆信道。定义定义4.6 若在任意时刻信道的输出只与此时刻若在任意时刻信道的输出只与此时刻信道的输入有关，而与其他时
35、刻的输入和输出无关，信道的输入有关，而与其他时刻的输入和输出无关，则称之为则称之为离散无记忆信道离散无记忆信道，简称为，简称为DMC(discrete memoryless channel)。输入、输出随机序列的长度为输入、输出随机序列的长度为N的离散无记忆平的离散无记忆平稳信道通常称为离散无记忆信道的稳信道通常称为离散无记忆信道的N次扩展信道。次扩展信道。N次扩展信道的信道矩阵是一个次扩展信道的信道矩阵是一个 的矩阵。的矩阵。图4.8 离散多符号信道YYXPX)(NNmn YXYPX)(12Niiiia aanii iN,.,2,1.21Nni,.,2,112Njjjjb bbNmj,.,2
36、,1mjjjN,.,2,1.21NXYYY21NXXXX21mkbbbY,21nkaaaX,21YYXPX)(112111222212()().()()().().()().()NNNNNNmmnmnnppppppppp NNmn 信道矩阵为信道矩阵为:无记忆：无记忆：YK仅与仅与XK有关有关,与与X1X2Xk-1和和Y1Y2Yk-1无关无关.则有则有:121211221(/)(./.)(/)(/).(/)(/)NNNNNiiiP YXP YYYX XXP YXP YXP YXP YXNkijijijijiiijjjijkkNNNNabpabpabpabpaaapbbbpP1)/()/()./
37、()/().().()/(22112121或或例：二元无记忆对称信道得二次扩展信道例：二元无记忆对称信道得二次扩展信道u 二元无记忆对称信道为二元无记忆对称信道为 ppPpp22222222ppppppppppppppppppppppppu则它的二次扩展信道为：则它的二次扩展信道为：0 01 10001101100011011)/()();(XYHYHYXI1X)(11XYP)(NNXYPNXXY1YNY11121212121211112(/).(.)(.)log(.)NNNNNNNnnmmiiijjjiiiiijjjjjiiiH Y Xp a aap b bba aap b bba aa 1
38、211111111112()()()log()()NNNNNNNnnmmiiijijiiijjjijip a aap b ap bap b ap ba 11111112222222222()()log()()()log().()()log()NNNNNNNnmijijiijnmijijiijnmijijiijp ap bap bap ap bap bap ap bap ba 11221(/)(/).(/)(/)KKNKKKH YXH YXH YXH YX(a)NKKKNKKNKKNNKKKNNKKKXYHYHYXIYHYYYHXYHYYYHXYHYHYXI111211211 )/()();()
39、().()/().()/()();(因为因为:NKKKYXIYXI1);();(说明了说明了:离散无记忆信道的离散无记忆信道的N次扩展信道的平次扩展信道的平均互信息均互信息,不大于不大于N个随机变量个随机变量X1,XN单独单独通过信道通过信道X P(Y/X)Y的平均互信息量之的平均互信息量之和。和。对于离散无记忆对于离散无记忆N次扩展信道，当信源是平稳无记忆次扩展信道，当信源是平稳无记忆信源时，其平均互信息信源时，其平均互信息 等于单符号信道的平均互信息等于单符号信道的平均互信息的的N倍。倍。离散无记忆信道的离散无记忆信道的N次扩展信道的信道容量为次扩展信道的信道容量为 因为现在输入随机序列在
40、同一信道中传输，所以任何因为现在输入随机序列在同一信道中传输，所以任何时刻通过离散无记忆信道传输的最大信息量都相同，即时刻通过离散无记忆信道传输的最大信息量都相同，即 所以所以 当信源也是无记忆信源并且每一时刻的输入分布各自当信源也是无记忆信源并且每一时刻的输入分布各自达到最佳输入分布时，才能达到这个信道容量达到最佳输入分布时，才能达到这个信道容量NC。一般情况下，消息序列在离散无记忆一般情况下，消息序列在离散无记忆N次扩展信道中次扩展信道中传输时，其平均互信息量传输时，其平均互信息量 );(YXINkkNkkkXPNkkkPPNCYXIYXIICk11)(1)()();(max);(max)
41、;(maxXXYX),2,1(NkCCkNCCNNCI);(YX小结小结:定理1 如果信道是无记忆的，即1(/)(/)NiiiP yP yxx1(;)(;)NNNiiiI XYI X Y则：定理2 如果信源是无记忆的1(;)(;)NNNiiiI XYI X Y定理3 如果信源、信道都是无记忆的(;)(;)NNI XYNI X YNCNCv v 前面我们分析了单符号离散信道和离散无记前面我们分析了单符号离散信道和离散无记忆信道的扩展信道。实际应用中常常会遇到两个忆信道的扩展信道。实际应用中常常会遇到两个或更多个信道组合在一起使用的情况。例如，待或更多个信道组合在一起使用的情况。例如，待发送的消息
42、比较多时，可能要用两个或更多个信发送的消息比较多时，可能要用两个或更多个信道并行发送，这种组合信道称为道并行发送，这种组合信道称为并联信道并联信道；有时；有时消息会依次地通过几个信道串联发送，例如无线消息会依次地通过几个信道串联发送，例如无线电中继信道，数据处理系统，这种组合信道称为电中继信道，数据处理系统，这种组合信道称为级联信道级联信道。在研究较复杂信道时，为使问题简化，。在研究较复杂信道时，为使问题简化，往往可以将它们分解成几个简单的信道的组合。往往可以将它们分解成几个简单的信道的组合。这一节我们将讨论这两种这一节我们将讨论这两种组合信道的信道容量与组合信道的信道容量与其组成信道的信道容
43、量之间的关系。其组成信道的信道容量之间的关系。一般独立并联信道如图所示。一般独立并联信道如图所示。可以把上述结论推广到可以把上述结论推广到N个独个独 立并联信道中来：立并联信道中来：只有当每个输入随机变量的概率分布只有当每个输入随机变量的概率分布 均达到各自信道的最佳输入分布时，均达到各自信道的最佳输入分布时，独立并联信道的信道容量才等于各信独立并联信道的信道容量才等于各信 道容量之和：道容量之和：当当N个独立并联信道的信道容量都相同时，个独立并联信道的信道容量都相同时，图4.10 独立并联信道NkkNNXXPCYYXXICN111)()(max1；并NkkCC1并NCC并引言引言 前面计论的
44、信道前面计论的信道,无论是单符号的还是多符号的无论是单符号的还是多符号的,都只有一个输入端和一个输出端都只有一个输入端和一个输出端,这种信道称为单用这种信道称为单用户信道户信道,相应的通信系统称为相应的通信系统称为单路通信系统单路通信系统.若信道有多个输入端和多个输出端若信道有多个输入端和多个输出端,这种信道称为这种信道称为多用户信道多用户信道,相应的通信系统称为相应的通信系统称为多路通信系统多路通信系统.实际中的信道基本上是多用户信道实际中的信道基本上是多用户信道.v多址接入信道多址接入信道 N个输入端和一个输出端，第个输入端和一个输出端，第r个编码器输出消息的信息个编码器输出消息的信息率为
45、率为Rr,相应的条件信道容量为相应的条件信道容量为Cr,信道总容量为信道总容量为C，则信，则信息率和信道容量间满足如下限制条件息率和信道容量间满足如下限制条件 当各输入信源相互独立时有当各输入信源相互独立时有)./;(max11-1)(p)(p1NrrrXXrrXXXXYXICRN);.(max1)(p)(p11YXXICRNXXNrrnrrNrrCCCmax1请证请证明明);(YXIRrr二址接入信道二址接入信道信源信源1 1信源信源2 21 u2 u编码器编码器1 1编码器编码器2 21u2u信道信道译码译码12CY1a2a二址接入信道模型1 11 11 21.nXaaa1 22 12 2
46、2.nXaaa12 12 22 nYbbb11RC有有22RC1212RRC12221()()max(;/)PXPXCI XYX121212()()max(;)P XP XCI X X Y121212max(,)C CCCC12112()()max(;/)PXPXCI XYX其中其中);(11YXIR);(22YXIR 当输入信源当输入信源X1与与X2相互独立时有相互独立时有:R2 C20 C1 C12C1+C2R1121212max(,)C CCCC11RC22RC1212RRC见见P91说明说明MN这个区域的界限就是二址这个区域的界限就是二址接入信道的容量接入信道的容量3.4.2 广播信道
47、广播信广播信道道具有单个输入和多个输出的信道。1U信源信源1 1编码器编码器信信道道信源信源2 2译码器译码器2 2译码器译码器1 12U1U2UX1Y2Y图3.4.4 单输入双输出广播信道模型v对于一般的广播信道对于一般的广播信道,很难进行处理很难进行处理,我们只好考我们只好考虑退化的广播信道虑退化的广播信道,即某些特殊情况即某些特殊情况:)/()/()/(12121yypxypxyyp退化广播信道（串联）编码器编码器信道信道1 11U2UX1Y2Y信道信道2 21()P Y X21()P Y Y图3.4.5 退化的广播信道模型n可以看作信道的串联，输出信道构成一个马尔可夫链可以看作信道的串
48、联，输出信道构成一个马尔可夫链)/()/(1212YYHXYYH21YYX、构成马尔可夫链);()/()()/()/()/()()/()();(111121121212121YXIXYHYHYXYHXYHYYHYHXYYHYYHYYXI)/()()/(12121yypxypxyyp)/()/(1212yypxyyp)/()/()/(12121xyypxypxyyp)(xp先改变)(xp不变)()(21upup、调整，并保持);(1YXI最大使)/;(211uYXIR)/;(122uYXIR);(121YXIRR只要:即可得到退化广播信道的信息率的可达区域即可得到退化广播信道的信息率的可达区域.
49、根据离散无失真信源编码定理根据离散无失真信源编码定理,当信源当信源X编码速率编码速率:3.4.3 相关信源的多用户信道符号/log2bitmLKR 大于大于H(X)时时,可以做到无失真传送可以做到无失真传送.如果有两个相互的信源需要如果有两个相互的信源需要分别用独立信道传送分别用独立信道传送,则每个信道的信息率必须大于无条件熵则每个信道的信息率必须大于无条件熵,总信息率必须大于总信息率必须大于H(X1)+H(X2).但若两个信源相关时但若两个信源相关时,信道的信息率应该是多少信道的信息率应该是多少?能否利用相能否利用相关性压缩信息率关性压缩信息率,使其匹配信道容量使其匹配信道容量.模型11X信
50、信源源2X编码器编码器1 1编码器编码器2 2信道信道1 1信道信道2 2译码器译码器1 1译码器译码器2 22X1X相关信源多用户信道2121211222111222112121,()/(),/()/()()/()()()()(XXXXHCCXXHCXXHCXXHXHXXHXHXXHXHXH就能无差错地传送）只要，)/(211XXHC)/(122XXHC)(2121XXHCCC2)(21XXH)(21XXH)/(21XXH)(1XH)(2XH)/(12XXHC1E1C1D1x1x21x)/(21XXH边信息边信息模型模型2RE1E2C1C2D1D2x1x21x2xE0C0w012(;)RI
