最新-信息论与编码第三章复习-PPT精品课件.ppt

1、第三章第三章对称对称DMC信道信道无干扰信道无干扰信道单符号加性信道单符号加性信道限时限频高斯白噪声信道限时限频高斯白噪声信道分类分类离散单符号信道离散单符号信道离散序列信道离散序列信道连续信道连续信道多维无记忆加性信道（注水法）多维无记忆加性信道（注水法）第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 33.1 信道的分类和表示参数(1)一般信道的数学模型一般信道的数学模型(2)信道的分类信道的分类(3)实际的信道实际的信道(4)信道的参数信道的参数第三章第三章 信道信道

2、 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 4(1)一般信道的数学模型信道编码器信道编码器基带调制器信道+噪声调制器信道+噪声解调器写入头存储介质+介质缺陷读出头基带解调器输入X输出Y黑箱第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 5(1)一般信道的数学模型转移概率矩阵(/)jip ba输入输出XY信道模型Xa1,a2,ai,anYb1,b2,bj,bm第三章第三章

3、信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 61211121121222212(/)(/)(/)(/)(/)(/)(/)(/)(/)mmmnnnmnbbbap bap bap baap bap bap baap bap bap baP信道转移概率矩阵111212122212mmnnnmppppppppp 第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 7(2)信道

4、的分类n 根据输入输出随机信号的特点分类根据输入输出随机信号的特点分类(连续连续/离散）离散）n 根据输入输出随机变量个数的多少分类根据输入输出随机变量个数的多少分类（单（单符号符号/多符号）多符号）n 根据输入输出个数分类根据输入输出个数分类（单用户（单用户/多用户）多用户）n 根据信道上有无干扰分类根据信道上有无干扰分类n 根据信道有无记忆特性分类根据信道有无记忆特性分类n 根据输入和输出之间有无反馈根据输入和输出之间有无反馈第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang Universit

5、y 8(3)实际的信道n实际信道的带宽总是有限的，所以输入和输出信实际信道的带宽总是有限的，所以输入和输出信号总可以分解成号总可以分解成随机序列随机序列来研究。来研究。n一个实际信道可同时具有多种属性。一个实际信道可同时具有多种属性。最简单的信道是单符号离散信道。最简单的信道是单符号离散信道。第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 9(4)信道参数n 二进制离散信道模型二进制离散信道模型n 离散无记忆信道离散无记忆信道n 离散输入、连续输出信道离散输入、连续输出信道

6、n 波形信道波形信道第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 10n 二进制离散信道模型二进制离散信道模型 a）二进制离散信道模型的组成）二进制离散信道模型的组成 二进制离散信道模型由一个允许输入二进制离散信道模型由一个允许输入值的集合值的集合 X0,1 和可能输出值的集合和可能输出值的集合Y=0,1，以及一组表示输入、输出关系，以及一组表示输入、输出关系的条件概率（转移概率）组成。的条件概率（转移概率）组成。第三章第三章 信道信道 与信道容量与信道容量2022-7-

7、22Department of Communication China Ji Liang University 11 b）二进制对称信道二进制对称信道 （简称为（简称为 BSC信道信道）0输入10输出11-p1-ppp二进制对称信道第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 12B离散无记忆信道离散无记忆信道 （a）离散无记忆信道（离散无记忆信道（DMC信道）信道）x1x2xny1y2ym第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department

8、 of Communication China Ji Liang University 13联合条件概率联合条件概率 112211(,/,)nnnnpY y YyYy XxXx1(/)nkkkkkp YyXx第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 14C C离散输入、连续输出信道离散输入、连续输出信道 离散时间无记忆信道离散时间无记忆信道 假设信道输入符号选自一个有限的、离散假设信道输入符号选自一个有限的、离散的输入字符集的输入字符集X=a1，a2，an，而信道输，

9、而信道输出未经量化（出未经量化（m），这时的译码器输出），这时的译码器输出可以是实轴上的任意值，即可以是实轴上的任意值，即y=-，。这样。这样的信道模型为离散时间无记忆信道。的信道模型为离散时间无记忆信道。第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 15说明：说明：它的特性由离散输入它的特性由离散输入X、连续输出、连续输出Y以及一组条以及一组条件概率密度函数件概率密度函数 pY(y/X=ai),i=1,2,n来决定。来决定。这类信道中最重要的一种是这类信道中最重要的一种

10、是加性高斯白噪声加性高斯白噪声（AWGN）信道，对它而言）信道，对它而言 Y=XG,式中式中G是一个零均值、方差为是一个零均值、方差为 的高斯随机变的高斯随机变量，量，X=ai，i=1，2，n。2第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 16n当当 X给定后，给定后，Y是一个均值为是一个均值为ai、方差、方差 为的为的高斯随机变量高斯随机变量 222()/21(/)2iy aYipy ae第三章第三章 信道信道 与信道容量与信道容量2022-7-22Departmen

11、t of Communication China Ji Liang University 17D波形信道波形信道 波形信道是这样一种信道模型：其输入是模波形信道是这样一种信道模型：其输入是模拟波形，其输出也是模拟波形。假设输入该信拟波形，其输出也是模拟波形。假设输入该信道的是道的是带限带限信号信号x（t），相应的输出是），相应的输出是y（t），），那么那么 y（t）=x（t）n（t）这里这里n（t）代表）代表加性噪声加性噪声过程的一个样本函数。过程的一个样本函数。第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China J

12、i Liang University 183.2离散单个符号信道及其容量引言：引言：信道容量定义信道容量定义3.2.1 无干扰离散信道无干扰离散信道3.2.2 对称对称DMC信道信道3.2.3 准对称准对称DMC信道信道3.3.4 一般一般DMC信道信道第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 19信道的信息传输率n信道的信息传输率：信道的信息传输率：就是平均互信息就是平均互信息 R=I(X;Y)。nI(X;Y)是信源无条件概率是信源无条件概率p(ai)和信道转移概率

13、和信道转移概率p(bj/ai)的二的二元函数：元函数：n当信道特性当信道特性p(bj/ai)固定后，固定后，I(X;Y)随信源概率分布随信源概率分布p(ai)的的变化而变化。变化而变化。n由平均互信息的性质已知，由平均互信息的性质已知，I(X;Y)是是p(ai)的上凸函数，因的上凸函数，因此总能找到一种概率分布此总能找到一种概率分布 p(ai)（即某一种信源），使信（即某一种信源），使信道所能传送的信息率为最大。道所能传送的信息率为最大。第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang Unive

14、rsity 20 信道容量n信道容量信道容量C：在信道中最大的信息传输率。在信道中最大的信息传输率。n单位时间的信道容量单位时间的信道容量Ct：若信道平均传输一个符号需若信道平均传输一个符号需要要t 秒钟，则单位时间的信道容量为：秒钟，则单位时间的信道容量为：Ct实际是信道的最大信息传输速率。实际是信道的最大信息传输速率。()()maxmax(;)(/)iip xp xCRI X Y比特 信道符号)/();(max)(1秒比特YXICixptt第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang Un

15、iversity 213.2.1 无干扰离散信道 具有一一对应关系的无噪信道具有一一对应关系的无噪信道 具有扩展性能的无噪信道具有扩展性能的无噪信道 具有归并性能的无噪信道具有归并性能的无噪信道第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 22 具有一一对应关系的无噪信道具有一一对应关系的无噪信道n这种信道如这种信道如右图所示右图所示第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Li

16、ang University 23 I(X;Y)=H(X)=H(Y)。n当信源呈等概率分布时，具有一一对应确定关系当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量的无噪信道达到信道容量2()()max(;)max()logiip xp xCI X YH Xn第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 24 具有扩展性能的无噪信道n此信道的举例如右图所示。此信道的举例如右图所示。nnm，输入，输入X的符号集个数大于输出的符号集个数大于输出Y的符号集个数。的

17、符号集个数。第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 27信道噪声熵信道噪声熵 H(Y/X)=0。n信道容量为：2()()max(;)max()logiip xp xCI X YH Ym第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 283.2.2 对称DMC信道n对称信道矩阵，它的每一行和每一列都是同一集合各个元对称信道矩阵，它的每一行和每一列都

18、是同一集合各个元素的不同排列。素的不同排列。n可可当信道当信道输入输入呈呈等概率等概率分布时，强对称离散信道能够分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量：传输最大的平均信息量，即达到信道容量：()221max()log(/)log(/)imip xmjijijH YHmp bap baC第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 293.2.3 准对称DMC信道n准对称离散信道定义：准对称离散信道定义：一个一个n n行行m m列单符号离散信道矩阵列

19、单符号离散信道矩阵 P P 的行可排列，列的行可排列，列不可排列。但是矩阵中的不可排列。但是矩阵中的m m列可分成列可分成S S个不相交的子集，个不相交的子集，各子集分别有各子集分别有m m1 1,m m2 2,m ms s个元素个元素(m m1 1+m m2 2+m ms s=m=m)，由，由n n行行m mk k(k k=1,2,=1,2,s s)列组成的子矩阵列组成的子矩阵 P P k k具有可排列性具有可排列性。当输入分布达到等概时，达到信道容量：当输入分布达到等概时，达到信道容量：2121()log(),skkmkkpCm p bH q qbq 第三章第三章 信道信道 与信道容量与信

20、道容量2022-7-22Department of Communication China Ji Liang University 30()kp bk其中为第 个子集中概率的平均值()()()1,2,jkjp bMkkp bp bksm12(,)PmH q qq为 矩阵一行元素的熵。第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 31为使为使 I（X;Y）最大化以便求取）最大化以便求取DMC容量，输入概率容量，输入概率 p（xi）必须满足的充分和必要条件是必须满足的充分和必

21、要条件是:(/)(;)(/)log()jiijijjp baI a Yp bap b 3.2.4 一般DMC信道n每个概率非零的输入符号对每个概率非零的输入符号对Y提供相同的平均互信息提供相同的平均互信息(;),i(;)CiiiI a YCI a Y对于所有满足p(xi)0的，对于所有满足p(xi)=0的其中：第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 32本讲内容3.3 离散序列信道及其容量离散序列信道及其容量3.4 连续信道及其容量连续信道及其容量第三章第三章 信道

22、信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 333.3 离散序列信道及其容量(1)离散序列信道的定义离散序列信道的定义(2)离散序列信道的模型离散序列信道的模型(3)离散序列信道的信道容量离散序列信道的信道容量第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 343.3 离散序列信道及其容量（1）离散序列信道定义）离散序列信道定义定义：多符号离散信源定义：多符号离散信源

23、X X=X1X2XL在在L个不同时个不同时刻分别通过单符号离散信道刻分别通过单符号离散信道X P(Y/X)Y，则在输，则在输出端出现相应的随机序列出端出现相应的随机序列Y Y=Y1Y2YL，这样形成，这样形成一个新的信道称为一个新的信道称为离散序列信道离散序列信道。由于新信道相当于单符号离散信道在由于新信道相当于单符号离散信道在L个不同时刻连续个不同时刻连续运用了运用了L次，所以也称为单符号离散信道次，所以也称为单符号离散信道X P(Y/X)Y的的L次扩展次扩展。第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China J

24、i Liang University 353.3 离散序列信道及其容量（2）离散序列信道模型）离散序列信道模型设信源矢量设信源矢量X X的每一个随机变量的每一个随机变量Xl(l=1,2,L)均取均取自并取遍于信道的输入符号集自并取遍于信道的输入符号集a1,a2,an，则信源，则信源共有共有nL个不同的元素个不同的元素ai(i=1,2,nL)。则输出矢量则输出矢量Y Y由由L个符号组成的输出序列个符号组成的输出序列Y Y=Y1Y2 YL ，它的每一个随机变量，它的每一个随机变量Yl均取自并取遍于信道的均取自并取遍于信道的输出符号集输出符号集b1,b2,bm 第三章第三章 信道信道 与信道容量与信

25、道容量2022-7-22Department of Communication China Ji Liang University 363.3 离散序列信道及其容量l离散序列信道模型P(Y/X)XY1212(,.,)(,.)LLXXXY YYXY1,212,.,(,.,)lnlmXa aaYb bb第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 373.3 离散序列信道及其容量l对于无记忆离散序列信道，其信道转移概率为：1 21211221(Y/X)(/)(/)(/)(/)

26、(/)LLLLLlllpp YYYX XXp YXp YXp YXp YXl若是平稳的，又有：(Y/X)(/)Lppy x第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 383.3 离散序列信道及其容量l根据平均互信息的定义根据平均互信息的定义I(X;Y)=H(Y)H(Y/X)(/)()(/)(,)log()(/)()(/)(,)log()LLLLLLp X YH XH XYp X Yp Xp Y XH YH YXp X Yp Yl如果信道是无记忆的，有：如果信道是无记忆的

27、，有：1(X;Y)(;)LlllII X Yl如果如果X X中各个分量相互独立中各个分量相互独立，有：有：1(X;Y)(;)LlllII X Y第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 393.3 离散序列信道及其容量（3）离散序列信道容量）离散序列信道容量当当X X中各个分量相互独立且信道无记忆时，有中各个分量相互独立且信道无记忆时，有1(X;Y)(;)LlllII X Y当当X X达到最佳分布时，有信道容量：达到最佳分布时，有信道容量：111max(X;Y)max

28、(;)max(;)()XXXLLLLllllPPPlllCII X YI X YC ll当信道平稳时，有当信道平稳时，有1LCLC第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 403.3 离散序列信道及其容量举例举例p55：BSC的二次扩展信道的二次扩展信道2(00/00)0/0(0/0)(1)pppp(01/00)0/0(1/0)(1)ppppp22222222(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)ppppppppppppPpppppp

29、pppppp是一个对称是一个对称DMC信道，当输入序列等概分布时，容量信道，当输入序列等概分布时，容量：222(1)log,4(1),(1),)ppCpHppp X0001101100011011 Yp0.1时，可以验证，C22C1第三章第三章 信道信道 与信道容量与信道容量2022-7-22Department of Communication China Ji Liang University 413.3 离散序列信道及其容量独立并联信道：独立并联信道：N个相互独立的信道进行并联1(X;Y)(;)NlllII X Y无记忆信道，有：1,2,.,1max(;)NNllCI X YC当当Xl相互独立且联合分布相互独立且联合分布p(x1,xN)达到最佳时，取达到最佳时，取等号。等号。