第三章离散信道及其信道容量课件.ppt

1、第三章 离散信道及其信道容量 第一节 信道的数学模型及分类第二节 平均互信息及平均条件互信息第三节 平均互信息的特性第四节 信道容量及其一般计算方法 第五节 离散无记忆扩展信道及其信道容量第六节 信源与信道的匹配第一节 信道的数学模型及分类1、信道的分类：根据信道用户的多少，可分为：（1）单用户信道：只有一个输入端和一个输出端，单向通信（2）多用户信道：至少有一端有两个以上的用户，双向通信根据输入端和输出端的关联：（1）无反馈信道:输出端信号对输入端信号无影响、无作用（2）有反馈信道：信道输出端的信号反馈到输入端，对输入端的信号起作用，影响输入端信号发生变化根据信道参数与时间的关系：（1）固定

2、参数信道：信道的参数不随时间变换而改变（2）时变参数信道：信道的参数随时间变换而变换根据输入输出信号的特点：（1）离散信道：输入和输出的随机序列的取值都是离散的信道（2）连续信道：输入和输出的随机序列的取值都是连续的信道（3）半离散半连续信道：输入序列是离散型的但相应的输出序列是连续的信道，或者相反。（4）波形信道：信道的输入输出都是时间上连续的随机信号P(y/X)XY根据这一模型，可对信道分类如下：设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y，如图所示：规定一个离散信道应有三个参数：输入符号集：X=x1，x2，输出符号集：Y=y1，y2，信道转移概率：P(Y/X)=p(y1/x

3、1),p(y2/x1),p(/x1),p(y1/)p(/)nxmymymynxnx2、离散信道的数学模型描述输入信号和输出信号之间的统计依赖关系，反映信道的统计特性（1）无干扰（无噪）信道：输入信号与输出信号有一一对应关系1()()(/)0()yfxyfxPyxyfx，并 且（3）有干扰有记忆信道：这是最一般的信道，信道中不仅有干扰，并且某一瞬间的输出符号不仅与当前时刻的输入有关，而且还与其他时刻信道输入符号及输出符号有关。（2）有干扰无记忆信道：输入与输出无一一对应关系，输出只与当前输入有关；NiiiNNxyPxxxyyyPxyP12121)()()/(单符号离散信道的输入变量为X，取值于输

4、出变量为Y，取值于 。并有条件概率条件概率被称为信道的传递概率或转移概率。一般简单的单符号离散信道的数学模型可以用概率空间X,p(y|x),Y来描述。12,raaa12,sbbb(|)(|),(1,2,;1,2,)jiP y xP bair js3、单符号离散信道的数学模型1ara1bsb(|)jiP baXYP=y1y2ymx1p(y1/x1)p(y2/x1)p(ym/x1)x2p(y1/x2)p(y2/x2)p(ym/x2)xnp(y1/xn)p(y2/xn)p(ym/xn)表示成矩阵形式：X=0,1;Y=0,1;p(0/0)=p(1/1)=1-p;p(0/1)=p(1/0)=p;P=01

5、01-pp1p1-p 0 1-p 0 p p 1 1-p 1例1 二元对称信道（BSC）X=0,1;Y=0,2,1P=02101 pp010p1-p 0 1-p 0 pp 1 1-p 12例2 二元删除信道（BEC）P=y1y2ymx1p(y1/x1)p(y2/x1)p(ym/x1)x2p(y1/x2)p(y2/x2)p(ym/x2)xnp(y1/xn)p(y2/xn)p(ym/xn)由此可见，一般单符号离散信道的传递概率可以用矩阵表示 为了表述简便，可以写成(/)jiijP bap111212122212.ssrrrsppppppPppp4.一般单符号离散信道的一些概率关系（1）联合概率()

6、()(/)()(/)ijijijijP abP a P baP b P ab(/)jiP ba其中称为前向概率，描述信道的噪声特性(/)ijP ab称为后向概率，有时也把 称为先验概率，把 称为后验概率()iP a（2）输出符号的概率1()()(/)rjijiiP bp a p ba（3）后验概率()(/)()ijijjP abP abP b(/)ijP ab1(/)1rijiP ab 表明输出端收到任一符号，必定是输入端某一符号输入所致1、信道疑义度11(/)(/)log(/)rjijiijH X bP abp ab 这是收到 后关于X的后验熵，表示收到 后关于输入符号的信息测度jbjb,1

7、(/)(/)()log(/)jX YH X YE H X bP xyP x y 这个条件熵称为信道疑义度，表示输出端在收到一个符号后，对输入符号尚存的不确定性，这是由信道干扰造成的，如果没有干扰，H(X/Y)=0,一般情括下H(X/Y)小于H(X)，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。第二节 平均互信息及平均条件互信息I(X;Y)=H(X)-H(X/Y)2、平均互信息 其中H(X)表示传输前信源的不确定性，而H(X/Y)表示收到一个符号后，对信源尚存的不确定性，所以二者之差即为通过信道消除的不确定性，信道传递的信息量。XYXyxPxyPxPxPYXI,)(1log)

8、()(1log)();(YXYXyxPxyPxPxyP,)(1log)()(1log)(YXxPyxPxyP,)()(log)(YXyPxPxyPxyP,)()()(log)(YXyPxyPxyP,)()(log)(（1）平均互信息（2）互信息互信息I（x;y)是代表收到某消息y 后获得关于某事件x的信息量。即)()(log)()()(log)()(log);(yPxyPyPxPxyPxPyxPyxI注意：互信息可取正值，也可取负值和0。对于平均互信息XYXYXYxPyxPxyPyxIxyPyxIEYXI)()(log)();()();();(永远不会取负值I(X;Y)=H(X)-H(X/Y)

9、=H(X)+H(Y)-H(XY)=H(Y)-H(Y/X)（3）互信息与其他的熵之间的关系也可以得到：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)互信息I(X;Y)也表示输出端H(Y)的不确定性和已知X的条件下关于Y的不确定性之差，也等于发送前后关于Y的不确定性之差。互信息与各类熵之间的关系可以用维拉图表示：H(X)H(Y)H(X|Y)H(Y|X)I(X;Y)H(X,Y)ABABABABABH(X)H(Y)I(X;Y)H(X|Y)H(Y|X)它们都是由于噪声干扰的存在而存在的。信道中存在噪声干扰，是减低信道传信能力的基本原因。H(X/Y)即信道疑义度，也表示通过有噪信道造成的损失，

10、故也称为损失熵，因此信源的熵等于收到的信息量加上损失的熵；而H(Y/X)表示已知输入的情况下，对输出端还残留的不确定性，这个不确定性是由噪声引起的，故也称之为噪声熵或散布度。（4）两种极端情况的信道 无噪一一对应信道 此时可以计算得：H(X/Y)=H(Y/X)=0在图一中表示就是两圆重合，即：此信道输入符号和输出符号完全一一对应，因此)(1)(0)(xfyxfyyxP)()();(YHXHYXIx1y1p(y1|x1)=1x2y2p(y2|x2)=1xnynp(yn|xn)=1信道模型 jijixypij01)|(1.00.0.100.01)|(XYP这种信道的输入和输出是一一对应的，即:因此

11、不难证明:H(XY)=H(X)=H(Y),H(X|Y)=H(Y|X)=0 在这种无干扰信道中，对应于输入符号有唯一的接收符号，接收端的平均不确定程度和发送端的平均不确定程度相同；在这种信道中，信息被无损地传输，故又称为“无损信道”；输入输出完全统计独立 同理I(X;Y)=0 即)()()()(xPyxPyPxyPH(X/Y)=H(X)H(Y/X)=H(Y)则信道模型x x1 1x x2 2x xn ny y1 1y y2 2y ym mp p(y yn n|x x1 1)=1 1/m mp p(y y1 1|x x1 1)=1 1/m mp p(y y2 2|x x1 1)=1 1/m m这种

12、信道的干扰很强，以至任意一个输入符号 xi 可能等概率地被接收成任意一个 yj,即mnmmmmmmmmmXYP/1./1/1./1./1/1/1./1/1)|(mmmXYPxpxpxpXYPXpYPn/1./1/1)|()(.)()()|()()(21因此可得)()|(,/1)|(,/1)(ijiijjxpyxpmxypmyp即)()|(YHXYH所以)()(1)(log)(1)|(log)|()()|(11111XHXHmxpxpmyxpyxpypYXHmjmjiniimjjinijij 这种信道的输入和输出符号没有关系，Y 知道后关于 X 的不确定性 H(X|Y)和没有 Y 时的不确定性

13、H(X)完全一样，信息无法传输，称为“全损信道”；3.平均条件互信息（1）条件互信息已知事件Zz)()()(log)()(log)()(log);(zyPzxPzxyPzyPxzyPzxPyzxPzyxIZzYy,的条件下，接收到y后获得关于某事件x的条件互信息先验概率和后验概率都是在某一特定条件下的取值，这是条件互信息与互信息的区别已知后，总共获得关于Xx的互信息)()()()(log)()(log);(yxPxPyzxPyxPxPyzxPyzxI);();()()(log)()(logyzxIyxIyxPyzxPxPyxP(2)平均条件互信息XYZXYZzyPzxPzxyPxyzPzxPy

14、zxPxyzPzyxIEZYXI)()()(log)()()(log)();();(XYZxPyzxPxyzPyzxIEYZXI)()(log)();();()()();(YZXHZXHZYXI);();();();();(ZYXIZXIYZXIYXIYZXI例2某2元通信系统，它发送1和0的概率为p(1)=1/4,p(0)=3/4,由于信道中有干扰。通信不能无差错的进行。即有1/6的1在接受端错成0，1/2的0在接受端错成1。问信宿收到一个消息后，获得的平均信息量是多少？P(y2)=5/12 y=05/61/21/21/6P(y1)=7/12 y=1P(x2)=3/4 x=0P(x1)=1/

15、4 x=1p(x1)=p(1)=1/4 p(x2)=p(0)=3/4根据题意确定p(yj/xi):p(y1/x1)=p(1/1)=5/6,p(y2/x1)=p(0/1)=1/6p(y2/x2)=p(0/0)=1/2,p(y1/x2)=p(1/0)=1/2这就叫做信道特性，如果列成矩阵，就叫信道矩阵。解：先用公式p(xi)p(yj/xi)=p(xiyj)来计算，p(xiyj)称为联合概率。p(x2y1)=p(01)=p(0)p(1/0)=3/41/2=3/8p(x2y2)=p(00)=p(0)p(0/0)=3/41/2=3/8p(x1y2)=p(10)=p(1)p(0/1)=1/41/6=1/2

16、4p(x1y1)=p(11)=p(1)p(1/1)=1/45/6=5/24再计算信宿端p(yj)p(y1)=p(1)=1/45/6+3/41/2=7/12p(y2)=p(0)=3/41/2+1/41/6=5/12再利用公式p(xi/yj)=p(xiyj)/p(yj)来计算后验概率p(xi/yj)()(111ypyxp127245145)()(112ypyxp12783149p(x1/y1)=p(x2/y1)=)()(221ypyxp125241101)()(222ypyxp12583109p(x1/y2)=p(x2/y2)=现在可以计算信宿收到一个消息后所获得的信息量：)p(x)/yp(x22

17、24/310/9)p(x)/yp(x1114/114/5)p(x)/yp(x1214/110/1)p(x)/yp(x2124/314/9I(发0；收0)=I(x2;y2)=log=log2=log2=log210/7=0.515比特/消息=log2(通信错误，没有消除不确定性，反而增加了不确定性，相当于得到了负消息)=log2=log26/7=-0.222比特/消息I(发0；收1)=I(x2;y1)=log=log22/5=-1.322比特/消息I(发1；收0)=I(x1;y2)=logI(发1；收1)=I(x1;y1)=log=log25/6=0.263比特/消息我们为了得到信宿收到一个消息

18、所获得的平均信息量（算术平均与统计平均统计平均）：I平均=p(x2y2)I(x2;y2)+p(x1y1)I(x1;y1)+p(x1y2)I(x1;y2)+p(x2y1)I(x2;y1)=3/80.263+5/240.515-1/241.322-3/80.222=0.067比特/消息（差错率太高了）I负值?）数学上可以证明平均信息量是非负的。例题3.3四个等概分布的消息M1，M2，M3，M4被送入一个二元无记忆对称信道进行传输。通过编码使M1=00，M2=01，M3=10，M4=11。而BSC信道如图所示。试问，输入是M1和输出符号是0 的互信息是多少？如果知道第二个符号也是0，这时带来多少附加

19、信息量？XY0101pppp解：根据题意知,)10()0(,)00()0(,)10()0(,)00()0(41)()()()(43214321pPMPpPMPpPMPpPMPMPMPMPMPpMPMPMP41111)0()()0(输入为M1和第一个输出符号0的联合概率根据信道的特性，输出第一个符号为0的概率2141414141)0()()0(41ppppMPMPPiii由于信道无记忆)(log1log)0()()0(log)0;(214141111bitppPMPMPMI211141)00()()00(pMPMPMP21)00()00()0000()00(pPPPMP所以若输出符号为00，可得

20、因此4141)00()()00(iiiMPMPP同理，得)(log22)00()()00(log)00;(111bitpPMPMPMI因此，当第一个符号为0，第二个符号也是0时所带来关于M1的附加信息pMIMIMIlog1)0;()00;()00;(111 名称 符号 关 系 图 示 无 条 件 熵 条 件 熵 条 件 熵 联 合 熵 交 互 熵)/()()();()/()/()(XYHXYHXHYXIYXHYXHXH)(XH)(YH)/(YXH)/(XYH)()(YXHXYH);();(XYIYXI)/()()();()/()/()(YXHXYHYHYXIXYHXYHYH);()()()()

21、/(YXIXHYHXYHYXH);()()()()/(YXIYHXHXYHXYH);()/()/();()()()/()()/()()(YXIXYHYXHYXIYHXHYXHYHXYHXHXYH)()()()/()/()()/()()/()();(XYHYHXHYXHXYHXYHXYHYHYXHXHYXIYXYXYXYXYXYX各种熵之间的关系第三节 平均互信息的特性1、平均互信息的非负性 I(X;Y)=03.通过一个信道总能传递一些信息，最差的条件下，输入输出完全独立，不传递任何信息，互信息等于0，但决不会失去已知的信息。证明：结论：1.平均互信息量不是从两个具体消息出发，而是从随机变量X和

22、Y的整体角度出发，并在平均意义上观察问题，所以平均互信息量不会出现负值。2.从一个事件提取关于另一个事件的信息，最坏的情况是0，不会由于知道了一个事件，反而使另一个事件的不确定度增加.YXXYxyPyPxPxypxyPyPxPxyPYXI,0)1)()()()()()()(log)();(由条件熵的非负性很容易得到上式。2、平均互信息的极值性I(X;Y)=0（2）平均互信息的极值性I(X;Y)=H(X)I(Y;X)H(Y)（3）平均互信息量的交互性I(X；Y)=I(Y；X)（4）平均互信息的凸状性 1 平均互信息平均互信息I(X;Y)是信源概率分布是信源概率分布P(X)的的 型凸函型凸函数数2

23、 平均互信息平均互信息I(X;Y)信道传递概率分布信道传递概率分布P(Y/X)的的 U型凸型凸函数函数6.I(XN;YN)与I（X；Y）的关系 如果信道是无记忆的，即1(/)(/)NiiiP yP yxx1(;)(;)NNNiiiI XYI X Y则：如果信源是无记忆的1(;)(;)NNNiiiI XYI X Y 当离散信源和离散信道都是无记忆时，等号成立（四）多个随机变量之间的平均互信息1.平均条件互信息XYZXYZzyPzxPzxyPxyzPzxPyzxPxyzPzyxIEZYXI)()()(log)()()(log)();();(XYZxPyzxPxyzPyzxIEYZXI)()(log

24、)();();()()();(YZXHZXHZYXI);();();();();(ZYXIZXIYZXIYXIYZXI2.平均条件互信息与熵函数和互信息的关系（五）离散信道的信道容量1.离散信道的信道容量信道容量：最大信息传输率CI X YH XH X YP XP Xmax(,)max()(/)()()2.计算信道容量的方法（1）运用信道容量解得充要性（2）运用特殊信道的容量公式求解（3）运用r个方程求解（六）常见信道的平均互信息和信道容量1.无躁一一对应信道（无躁无损信道）I(X;Y)=H(X)=H(Y)C=logr=logs2.有躁无损信道 此时信道疑义度为0，而信道噪声熵不为0，从而 C

25、=maxI(X;Y)=maxH(X)-H(X/Y)=maxH(X)=logr3.无躁有损信道此时信道疑义度不为0，而信道噪声熵为0，从而 C=maxI(X;Y)=maxH(Y)-H(Y/X)=maxH(Y)=logs4.离散对称信道12max()(,.)sCH YH p pplog2()1()CH pH p 5.强对称信道log(,.,)111pppCrH prrrloglog(1)()rrH p6.二元对称信道7.准对称信道121log(,.,)lognskkkCrH p ppNM（七）无记忆N次扩展信道的I（X；Y）和容量(;)(;)NNI XYNI X YNCNC（八）信道剩余度定义：信

26、道剩余度C-I(X;Y)信道的相对剩余度(;)1I X YC作业3.11()log0.60.737I x 2()log0.41.322I x(1)1111212()()(/)()(/)0.8p yp x p yxp xp yx(2)11111(/)(/)log0.059()p yxI xyp y2()0.2p y12(/)0.093I xy 21(/)0.263I xy 22(/)0.322I xy第三章(3)()(0.4)0.971H XH153()0.60.40.864P y()(0.8)0.722H YH(4)(/)0.963H X Y(/)0.714H YX(5)(;)0.008I X

27、 Y 返回第三章3.3 (1)1()()0.8114H XH132117()434312P y1231(/)loglog30.915323H Y x2231(/)loglog30.915323H Y x1122(/)()(/)()(/)0.915H YXP x H Y xP x H Y x7()()0.98112H YH(;)()(/)0.066I X YH YH YX(/)()(;)0.745H X YH XI X Y(2)21()0.0853CH 返回第三章3.9 (1)1(0.98)0.8586CH 10秒钟能传的最大信息量10*1500*12880Cbit不能传输返回第三章3.11 (1)可分为：pppp221(,2)(1 2)log(1 2)2 log4 CH pp(2)可分为：pppp20021(,2)(1 2)log(1 2)2 log2 CH pp 信道2的信道容量大于信道1的信道容量返回