信息论与编码理论基础(第四章)课件.ppt

1、2023-1-81第四章：第四章：信道及其容量4.1 信道分类信道分类4.2 离散无记忆信道离散无记忆信道4.5 信道的组合信道的组合4.6 时间离散的无记忆连续信道时间离散的无记忆连续信道4.7 波形信道波形信道2023-1-824.1 信道分类信道分类信道是传输信息的媒质或通道。（输入信道输出）说明说明（1）信道输入是随机过程。（2）信道响应特性是条件概率P(输出值为y|输入值为x)，又称为转移概率。（3）信道输出是随机过程，输出的概率分布可以由输入的概率分布和信道的响应特性得到。（全概率公式）（4）根据信道输入、信道响应特性、信道输出的情况，可将信道分类：离散信道（又称为数字信道）；连续

2、信道（又称为模拟信道）；特殊的连续信道波形信道；恒参信道和随参信道；无记忆信道和有记忆信道；等等。2023-1-834.2 离散无记忆信道离散无记忆信道定义定义4.2.1和定义和定义4.2.2(p104)如果（1）信道的输入为随机变量序列X1,X2,X3,，其中每个随机变量Xu的事件集合都是0,1,K-1，（2）信道的输出为随机变量序列Y1,Y2,Y3,，其中每个随机变量Yu的事件集合都是0,1,J-1，则称该信道为离散信道。如果更有（3）P(Y1Y2YN)=(y1y2yN)|(X1X2XN)=(x1x2xN)=P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)P(YN=yN|XN=xN

3、)，则称该信道为离散无记忆信道（DMC）。如果更有（4）对任意x0,1,K-1，y0,1,J-1，任意两个时刻u和v，还有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)，则称该信道为离散无记忆平稳信道。2023-1-844.2 离散无记忆信道离散无记忆信道关于关于定义定义4.2.1和定义和定义4.2.2的注解的注解n“离散”的含义是时间离散，事件离散。即：信道的输入、输出时刻是离散的，且输入随机变量和输出随机变量都是离散型的随机变量。n“无记忆”的含义是信道响应没有时间延迟，当时的输出只依赖于当时的输入。n“平稳”的含义是信道在不同时刻的响应特性是相同的。n“离散无记忆平稳信道”是最简单的

4、信道，信道在某一时刻u的响应特性P(Yu=y|Xu=x)；x0,1,K-1，y0,1,J-1，就能很简单地计算出信道在任意时间段的响应特性。2023-1-854.2 离散无记忆信道离散无记忆信道一、有关一、有关DMC的容量定理的容量定理（所说的（所说的DMC都是离散无记忆平稳信道）都是离散无记忆平稳信道）设nDMC在某个时刻输入随机变量为X，输出随机变量为Y。n信道响应特性为转移概率矩阵p(y|x)，x0,1,K-1，y0,1,J-1，它是一个KJ阶矩阵（其中p(y|x)=P(Y=y|X=x)）。nX的概率分布为x,q(x),x0,1,K-1。nY的概率分布为y,w(y),y0,1,J-1。以

5、下的结论是我们已知的。2023-1-864.2 离散无记忆信道离散无记忆信道（1）转移概率矩阵的每一行都是一个概率向量。)1|1()1|1()1|0()1|1()1|1()1|0()0|1()0|1()0|0(KJpKpKpJpppJppp1)|1,1,0()|(10 xXJYPxypxJy，对任意2023-1-874.2 离散无记忆信道离散无记忆信道（2）对任意y0,1,J-1，由全概率公式有10)|()()(Kxxypxqyw)1|1()1|1()1|0()1|1()1|1()1|0()0|1()0|1()0|0()1(,),1(),0()1(,),1(),0(KJpKpKpJpppJpp

6、pKqqqJwww2023-1-884.2 离散无记忆信道离散无记忆信道（3）I(X;Y)是概率向量q(x),x0,1,K-1和转移概率矩阵p(y|x)，x0,1,K-1，y0,1,J-1的函数。1010101010)|()()|(log)|()()()|(log)()();(KzKxJyKxJyzypzqxypxypxqywxypxyXYPYXI2023-1-894.2 离散无记忆信道离散无记忆信道（4）设转移概率矩阵p(y|x)，x0,1,K-1，y0,1,J-1确定，希望选择概率向量q(x),x0,1,K-1使I(X;Y)达到最大。则见定理2.6.2。定义定义4.2.3(p105)离散无

7、记忆信道的信道容量信道容量定义为如下的C。达到信道容量的输入概率分布x,q(x),x0,1,K-1称为最佳输入分布最佳输入分布。其中);(max1,1,0),(YXICKKxxqq维概率向量跑遍所有的2023-1-8104.2 离散无记忆信道离散无记忆信道定理定理4.2.2(p106)（1）输入概率分布x,q(x),x0,1,K-1是最佳输入分布的充分必要条件为：对任何满足q(k)0的k，都取一个相同的值；对任何满足q(k)=0的k，I(X=k;Y)此相同的值。（2）此时此相同的值恰好就是信道容量C。（定理4.2.2实际上叙述了定理2.6.2的含义。）1010)|()()|(log)|();(

8、JyKzzypzqkypkypYkXI2023-1-8114.2 离散无记忆信道离散无记忆信道注解注解给定一个DMC信道的响应特性，也就是说给定一个信道的转移概率矩阵p(y|x)，x0,1,K-1，y0,1,J-1，n达到信道容量时所对应的最佳输入分布是满足定理4.2.2条件的概率向量q(x),x0,1,K-1。n其信道容量是每个使得q(k)0的k所对应的半平均互信息量I(X=k;Y)。如果对DMC信道没有任何简化，要计算最佳输入分布并不容易。但是，通常使用的DMC是很简单的（比如，以下的准对称信道和对称信道），最佳输入分布很容易求出。2023-1-8124.2 离散无记忆信道离散无记忆信道二

9、、对称二、对称DMC和准对称和准对称DMC的的信道容量与最佳输入分布的计算信道容量与最佳输入分布的计算 定义定义4.2.45(p108)设DMC的转移概率矩阵为 若P的任一行是第一行的置换，则称信道是关于输入为对称的关于输入为对称的。若P的任一列是第一列的置换，则称信道是关于输出为对称的关于输出为对称的。若信道是关于输入为对称的，又是关于输出为对称的，则称信道为对称信道对称信道。)1|1()1|0()1|0()1|1()1|1()1|0()0|1()0|1()0|0(JKpJpJpKpppKpppP2023-1-8134.2 离散无记忆信道离散无记忆信道命题命题1 若DMC关于输入为对称的，则

10、对任意k0,1,K-1都成立。证明 p(y|x)，y=0 J-1与p(y|k)，y=0 J-1互为置换，所以)|()|(1log)|()|(10kXYHkypkypXYHJy10101010101010)|(1log)|()|(1log)|()()|(1log)|()()|(1log)|()()|(JyKxJyKxJyKxJykypkypkypkypxqxypxypxqxypxypxqXYH2023-1-8144.2 离散无记忆信道离散无记忆信道命题命题2 若DMC关于输出为对称的，则当输入分布等概时，输出分布等概。证明 此时p(y|x)，x=0 K-1与p(0|x)，x=0 K-1互为置换。

11、设q(x)=1/K，x0,1,K-1。则无关。与即，yywxpKxypKxypxqywKxKxKx)()|0(1)|(1)|()()(1010102023-1-8154.2 离散无记忆信道离散无记忆信道定义定义4.2.6(p108)若DMC的转移概率矩阵P的列的全体可分成若干个列子集，每个列子集所对应的P的子阵都满足以下两条性质：（1）任一行是第一行的置换，（2）任一列是第一列的置换。则称信道为准对称信道准对称信道。（特别若列子集只有一个，即转移概率矩阵P本身的任一行是第一行的置换，任一列是第一列的置换，则称信道为对称对称信道信道。）例例4.2.2 准对称信道的例子。(见p108109)202

12、3-1-8164.2 离散无记忆信道离散无记忆信道几个简单的结论：（1）准对称信道一定是关于输入为对称的。（2）对称信道不仅是关于输入为对称的，也是关于输出为对称的。（3）对称DMC当输入分布等概时，输出分布等概。（4）准对称DMC当输入分布等概时，输出分布局部等概。（准对称DMC当输入分布等概时，若j和l属于转移概率矩阵的同一个列子集，则wj=wl。）（5）对称信道未必有J=K。2023-1-8174.2 离散无记忆信道离散无记忆信道定理定理4.2.3(p109)对于准对称DMC信道，（1）达到信道容量的最佳输入分布为等概分布；（2）信道容量为都成立。对任何；1,1,0);()|(1)|(l

13、og)|(1010KkYkXIzypKkypkypCJyKz2023-1-8184.2 离散无记忆信道离散无记忆信道证明 根据定理4.2.2的含义，只需要证明：当输入分布为等概时，对任意k0,1,K-1，半平均互信息量I(X=k;Y)都取相同的值。（此时，该相同的半平均互信息量I(X=k;Y)就是准对称信道容量C。）换句话说，只需要证明：当输入分布为等概时，对任意k0,1,K-1，I(X=k;Y)与k无关。设转移概率矩阵P的列的全体被分成S个互不相交的列子集：0,1,J-1=Y1Y2YS；Y1、Y2、YS互不相交；对任意s1,2,S，列子集Ys所对应的子阵都满足：任一行是第一行的置换，任一列是

14、第一列的置换。自然有以下三个结论。2023-1-8194.2 离散无记忆信道离散无记忆信道结论一：准对称信道是关于输入为对称的，所以对任意k0,1,K-1，结论二：对每个列子集Ys，结论三：对每个列子集Ys，取定ysYs。则对任意yYs，。1010)|()|(KzsKzzypzyp。ssYyYyypkyp)0|()|(1010)0|(log()0|()|(log()|(JyJyyKpypkyKpkyp2023-1-8204.2 离散无记忆信道离散无记忆信道于是无关。它与。kypzypkypzypzypkypzypkypzypkypSsYySsYyKzsKzsSsYyKzsSsYyKzJyKzs

15、sss1110101101101010)0|()|(log)|()|(log)|(log)|()|(log)|()|(log)|(2023-1-8214.2 离散无记忆信道离散无记忆信道于是无关。它与kypzypyKpypzypkypkyKpkypzypKkypkypYkXISsYyKzsJyJyKzJyJyKzs110101010101010)0|()|(log)0|(log()0|()|(log()|()|(log()|()|(1)|(log)|();(2023-1-8224.2 离散无记忆信道离散无记忆信道例例4.2.3 特殊的对称DMC：KSC（p109）jkKpjkpkjp),1/(

16、,1)|(pKpKpKpKpKpKppP11111111其中0p1。称p为错误概率。特别当K=2时，记为BSCppppP112023-1-8234.2 离散无记忆信道离散无记忆信道此时有：l达到信道容量时的最佳输入分布为等概分布；l对应的输出分布也是等概分布；l信道容量是转移概率矩阵任何一行所对应的半平均互信息量，即)()1log(log11log)1(1log)1log(log);(pHKpKppppKpKYkXHC)(log2pHKCK 时：当2023-1-8244.2 离散无记忆信道离散无记忆信道 qpqppqqpP11101?0其中0p1，0q0。在这个假设下，n求出信道容量C；n然后

17、求出最佳输入分布对应的“最佳输出分布”w(y),y0,1,K-1；n然后求出最佳输入分布q(x),x0,1,K-1。2023-1-8294.2 离散无记忆信道离散无记忆信道此时，10)()|(log)|();(10KkywkypkypYkXICKy；10)|(log)|()(log)|(1010KkkypkypywCkypKyKy；10)(log)|()|(log)|()|(101010KkywkypkypkypCkypKyKyKy；2023-1-8304.2 离散无记忆信道离散无记忆信道；101010)1|(log)1|()1|(log)1|()0|(log)0|()1(log)1(log)

18、0(log)1|1()1|1()1|0()1|1()1|1()1|0()0|1()0|1()0|0(KyKyKyKypKypypypypypKwCwCwCKKpKpKpKpppKppp2023-1-8314.2 离散无记忆信道离散无记忆信道这是K个未知量0,1,K-1=C+logw(0),C+logw(1),C+logw(K-1)的线性方程组，系数矩阵是可逆方阵，因此唯一解出0,1,K-1 为1010101110)1|(log)1|()1|(log)1|()0|(log)0|()1|1()1|1()1|0()1|1()1|1()1|0()0|1()0|1()0|0(KyKyKyKKypKypy

19、pypypypKKpKpKpKpppKppp2023-1-8324.2 离散无记忆信道离散无记忆信道求出了0,1,K-1=C+logw(0),C+logw(1),C+logw(K-1)，还不能确定C和w(0),w(1),w(K-1)的值。但是我们还有另一个等式：w(0)+w(1)+w(K-1)=1。于是;1222110CCCK;2222110CK)222log(110KC2023-1-8334.2 离散无记忆信道离散无记忆信道求出了信道容量C，立即得到了“最佳输出分布”w(y),y0,1,K-1和对应的最佳输入分布q(x),x0,1,K-1。);2,2,2()1(,),1(),0(110CCC

20、KKwww1)1|1()1|1()1|0()1|1()1|1()1|0()0|1()0|1()0|0()1(,),1(),0()1(,),1(),0(KKpKpKpKpppKpppKwwwKqqq2023-1-8344.2 离散无记忆信道离散无记忆信道例例 设DMC的输入事件为0,1，输出事件为0,1，转移概率矩阵为求信道容量和最佳输入分布。先假设最佳输入分布q(0),q(1)满足q(0)0，q(1)0。因此75.025.05.05.0)1|1()1|0()0|1()0|0(ppppP811281.0175.0log75.025.0log25.05.0log5.05.0log5.075.025

21、.05.05.0102023-1-8354.2 离散无记忆信道离散无记忆信道因此622562.0377438.1811281.012123811281.0175.025.05.05.0110)628082.0,371918.0()2,2()1(),0(10CCww0345.0034536.1log)649773.0384763.0log()22log(10C)6570205.0,3429795.0(75.025.05.05.0)1(),0()1(),0(wwqq2023-1-8364.2 离散无记忆信道离散无记忆信道例例 特殊的DMC，称为Z信道：输入事件为0,1，输出事件为0,1，转移概率矩

22、阵为其中00，q(1)0。因此101P)(0)1log()1(log0log01log110110H2023-1-8371)(0)(011101)(0101110HHH1)(21log)22log(10HC)212,211()2,2()1(),0()1/()()1/()()1/()(10HHHCCww)21211,2121211(11101)1(),0()1(),0()1/()()1/()()1/()()1/()()1/()(HHHHHwwqq2023-1-8384.2 离散无记忆信道离散无记忆信道容易验证：q(1)0；q(0)+q(1)=1。需要验证：q(0)0。02121211)1/()(

23、)1/()()1/()(HHH即需要验证：)2(1)1/()(H即需要验证：)1/()(log)1log(H即需要验证：)1/()1log()1(loglog)1log(即需要验证：0log即需要验证：2023-1-8394.5 信道的组合信道的组合总设有如下两个总设有如下两个DMC，分别称为信道，分别称为信道1和信道和信道2。信道信道1的输入事件为全体的输入事件为全体x，共有，共有K个输入事件；个输入事件；信道信道1的输出事件为全体的输出事件为全体y，共有，共有J个输出事件；个输出事件；信道信道1的转移概率矩阵为的转移概率矩阵为p1(y|x)KJ；信道信道1的信道容量为的信道容量为C1，最佳

24、输入分布为，最佳输入分布为x,q1(x)。信道信道2的输入事件为全体的输入事件为全体u，共有，共有N个输入事件；个输入事件；信道信道2的输出事件为全体的输出事件为全体v，共有，共有M个输出事件；个输出事件；信道信道2的转移概率矩阵为的转移概率矩阵为p2(v|u)NM；信道信道2的信道容量为的信道容量为C2，最佳输入分布为，最佳输入分布为u,q2(u)。2023-1-8404.5 信道的组合信道的组合定义定义4.5.1（p121）信道的输入事件为全体(x,u)，共有KN个输入事件；信道的输出事件为全体(y,v)，共有JM个输出事件；转移概率矩阵为p(y,v)|(x,u)(KN)(JM)，其中p(

25、y,v)|(x,u)=p1(y|x)p2(v|u)。则称该信道为信道1与信道2的积信道。（又称该信道为信道1与信道2的独立并行信道）（在物理上，积信道是两个信道的并行使用）2023-1-8414.5 信道的组合信道的组合定理定理4.5.1（p122）积信道的n信道容量为C=C1+C2，n最佳输入分布为(x,u),q(x,u)，其中q(x,u)=q1(x)q2(u)。证明 此时 yvzzyvzzzvpzypzqzquvpxypuvpxypzzvypzqzquxvypuxvypYVxuXUI1212)|()|()()()|()|(log)|()|(),(|),()()(),(|),(log),(|

26、),()();()(2211221121212122112023-1-8424.5 信道的组合信道的组合 2112)|()()|(log)|()()|(log)|()|()|()()|()()|()|(log)|()|(222221111121222211112121zzyvzzyvzvpzquvpzypzqxypuvpxypzvpzqzypzquvpxypuvpxyp2023-1-8434.5 信道的组合信道的组合);();()|()()|(log)|()|()()|(log)|()|()()|(log)|()|()|()()|(log)|()|(2121222222111111222222

27、11111112VuUIYxXIzvpzquvpuvpzypzqxypxypzvpzquvpuvpxypzypzqxypxypuvpvzyzyvzvyz2023-1-8444.5 信道的组合信道的组合所以I(XU)=(xu);(YV)=I(X=x;Y)+I(U=u;V)。注意到对任何满足q1(x)0的x，I(X=x;Y)=C1；对任何满足q1(x)=0的x，I(X=x;Y)C1；对任何满足q2(u)0的u，I(U=u;V)=C2；对任何满足q2(u)=0的u，I(U=u;V)C2。于是对任何满足q1(x)q2(u)0的(xu)，I(XU)=(xu);(YV)=C1+C2；对任何满足q1(x)q

28、2(u)=0的(xu)，I(XU)=(xu);(YV)C1+C2。根据定理4.2.2(p84)，积信道的信道容量为C=C1+C2，最佳输入分布为(x,u),q1(x)q2(u)。2023-1-8454.5 信道的组合信道的组合定义定义4.5.2（p123）信道的输入事件为全体xu，其中x与u不相交；共有K+N个输入事件；信道的输出事件为全体yv，其中y与v不相交；共有J+M个输出事件；信道的转移概率矩阵为则称该信道为信道1与信道2的和信道。)()(21)|(00)|(MJNKMNJKuvpxyp2023-1-8464.5 信道的组合信道的组合定理定理4.5.2（p123）（证略）)22log(

29、21CCC和信道的信道容量为).(222,);(222,21212211uquxqxCCCCCC为：和信道的最佳输入分布2023-1-8474.5 信道的组合信道的组合定义定义4.5.3（p124）构造一个信道，使得n该信道的输入是信道1的输入；n信道1的输出再输入信道2；n信道2的输出就是该信道的输出。则称该信道为信道1与信道2的级连信道（串联信道）。请注意：此时l信道1的输出事件全体恰好是信道2的输入事件全体，即y=u，J=N。2023-1-8484.5 信道的组合信道的组合注：（1）级连信道的转移概率矩阵为p(v|x)KM=p1(y|x)KJ p2(v|y)JM，即这一结果来自于全概率公

30、式和马尔可夫性。（2）级连信道的信道容量C满足CminC1,C2。这一结果也容易证明。yyvpxypxvp)|()|()|(212023-1-8494.5 信道的组合信道的组合例例 设信道1的转移概率矩阵为其中0p0，则需要验证“I(X=0;Y)=I(X=1;Y)”。前者更容易验证。问题三：为什么不猜想“最佳输入分布”中的两个概率等于0？答 如果“最佳输入分布”中的两个概率等于0，则第三个概率等于1。此时输入随机变量X实际上是一个常数，其平均自信息量（熵）等于0。因此0I(X;Y)H(X)=0，即“信道容量”为C=I(X;Y)=0，矛盾。2023-1-875(b)这是准对称信道。因此最佳输入分

31、布为q(0),q(1),q(2)=1/3,1/3,1/3，对应的最佳输出分布为3/103/13/13/1003/13/13/13/13/1)3/1,9/2,9/2,9/2(3/13/103/13/13/13/103/103/13/1)3/1,3/1,3/1(3/13/103/13/13/13/103/103/13/1)2(),1(),0()3(),2(),1(),0(qqqwwww2023-1-876习题课习题课此时信道容量为)(38997.0)2/3log()3/2()3/1()3/1(log)3/1()9/2(0log0)9/2()3/1(log)3/1()9/2()3/1(log)3/1

32、();0(bitsYXIC2023-1-877习题课习题课4.8 一PCM语音通信系统，若信号带宽为W=4000Hz，采样频率为2W，且采用8级幅度量化，各级出现的概率为1/2，1/4，1/8，1/16，1/32，1/64，1/128，1/128。试求所需的信息速率(bits/s)。（这是什么类型的习题？似乎与信道及信道容量没有关系）4.8的解答 每次采样获得的信息量，是随机变量的平均自信息量（熵），为(1/2)log2+(1/4)log4+(1/8)log8+(1/16)log16+(1/32)log32+(1/64)log64+(1/128)log128+(1/128)log128=(1/

33、2)+(2/4)+(3/8)+(4/16)+(5/32)+(6/64)+(7/128)+(7/128)=127/64(bits)。信息速率为127/64(bits)8000=15875(bits/s)。2023-1-878习题课习题课4.12 若要以R=105 bit/s的速率通过一个带宽为8kHz、信噪比为31的连续信道传送，可否实现?4.12的解答 连续信道的带宽为8kHz，说明该连续信道可以通过采样频率不超过16kHz的采样，变成一个“时间离散的无记忆连续信道”。进一步简化：我们把该“时间离散的无记忆连续信道”看作是一个“高斯可加噪声信道”(p126)。因此，在每次采样中传送的信息量为(1/2)log(1+31)=(5/2)(bits)。带宽为8kHz，说明每秒种的采样次数不能超过16kHz。因此，每秒种传送的信息量不能超过(5/2)(bits)16k=40k(bits/s)。40k105，因此不能实现R=105 bit/s的信息速率。