1、1第第3章信道容量章信道容量o 3.1信道的数学模型和分类信道的数学模型和分类o 3.2单符号离散信道的信道容量单符号离散信道的信道容量n3.2.1 信道容量的定义信道容量的定义n3.2.2 几种特殊离散信道的信道容量几种特殊离散信道的信道容量n3.2.3 离散信道容量的一般计算方法离散信道容量的一般计算方法o 3.3多符号离散信道多符号离散信道o 3.4多用户信道多用户信道o 3.5连续信道连续信道o 3.6信道编码定理信道编码定理23.1信道的数学模型和分类信道的数学模型和分类o信道是信息传输的媒介或通道。o信道的典型例子：电缆、光纤、无线电波等物理通道或媒介，从空间上把信息从一地传送到另
2、一地；o也可以是磁盘、光盘等存储媒介，是一种时间上的传输通道；o实际的信道可简可繁，如滤波器的输入输出、国际通信线路。信息论中研究的信道，其输入输出的位置取决于研究者的兴趣；o通信中的物理信道，如无线、光纤、电缆、水等，其传输的信号特性不同，技术手段不同；o信息论不研究这些具体的信道特性和技术，而是对其进行抽象，建立起与各种通信相适应的信道模型。o信息论研究的是信道的输入和输出间的关系，信道的具体构成可以看成是一个黑匣子。3信道的数学模型和分类信道的数学模型和分类o 信道可以看成是一个变换器，它将输入事件X变换成输出事件Y。由于噪声和干扰，X与Y之间是统计依赖关系；o 信道的数学模型：X P(
3、y/x)Y信道XY干扰(/)p y x4信道的分类按时间特性信道的分类按时间特性：o 离散信道离散信道：输入离散，输出离散o 连续信道连续信道：输入连续，输出连续o 半连续信道半连续信道：输入和输出一个离散一个连续o 时间离散的连续信道时间离散的连续信道：输入和输出分别为有限个或可数无限个取自连续集的序列5信道的分类按输入输出个数信道的分类按输入输出个数：o 两端信道（两用户信道）两端信道（两用户信道）：输入和输出均只有一个事件集；o 多端信道（多用户信道）多端信道（多用户信道）：输入和输出中至少有一个具有两个或两个以上的事件集。6信道的分类按信道接入信道的分类按信道接入：o 多元接入信道多元
4、接入信道：多个不同信源的信息经编码后送入统一信道传输，接收端译码后再送给不同的信宿。如在卫星通信系统中的应用。o 广播信道广播信道：单一输入，多个输出。7信道的分类按统计特性信道的分类按统计特性：o 恒参信道恒参信道：统计特性不随时间变化；o 随参信道随参信道：统计特性随时间变化。8信道的分类按记忆特性信道的分类按记忆特性o 无记忆信道无记忆信道：信道输出仅与当前的输入有关；o 有记忆信道有记忆信道：信道输出不仅与当前输入有关，还与过去的输入有关。9平均互信息平均互信息o 定义：原始信源熵与信道疑义度之差称为平均互信息o 含义：接收到输出符号集Y以后，平均每个符号获得的关于X的信息量。(;)(
5、)(/)defI X YH XH X Y10o 平均互信息量等于X，Y的熵与它们的联合熵之差，即nI(X;Y)=H(X)+H(Y)H(X,Y)o 平均互信息量总大于或等于0，即nI(X;Y)=I(Y;X)0o X与X的平均互信息量等于X的熵，即nI(X;X)=H(X)o 对于固定的信源分布，平均互信息量I(X;Y)是信道传递概率p(y/x)的下凸函数。o 对于固定的信道，平均互信息I(X;Y)是输入信源的概率分布p(x)的上凸函数。平均互信息量平均互信息量11例例3.2.3 分析二元对称信道分析二元对称信道o 考虑二元信道01=11XppPwwpppp P信源概率空间为：信道矩阵为：其中，为信
6、道错误传递概率。1p1 pppXY10a 21a 10 b21 b12例例3.2.3固定二元对称信道的平均互信息固定二元对称信道的平均互信息o 二元对称信道的平均互信息为：o 定理：当信道固定，即 p 为一个固定常数时，可得出 I(X;Y)是信源分布 w 的上凸函数，如下图所示（固定二元对称信道的平均互信息）(;)I X Yw1()Hp01/21(;)()()I X YH wpwpH p13例例3.2.3固定二元对称信道的平均互信息固定二元对称信道的平均互信息o 图示曲线表明，对于固定的信道，输入符号集X的概率分布不同时，在接收端平均每个符号所获得的信息量就不同。o 当输入符号为等概率分布时，
7、即 平均互信息量 I(X;Y)为最大值，这时，接收每个符号所获得的信息量最大。1/2ww14第第3章信道容量章信道容量o 3.1信道的数学模型和分类信道的数学模型和分类o 3.2单符号离散信道的信道容量单符号离散信道的信道容量n3.2.1 信道容量的定义信道容量的定义n3.2.2 几种特殊离散信道的信道容量几种特殊离散信道的信道容量n3.2.3 离散信道容量的一般计算方法离散信道容量的一般计算方法o 3.3多符号离散信道多符号离散信道o 3.4多用户信道多用户信道o 3.5连续信道连续信道o 3.6信道编码定理信道编码定理15信道容量的定义信道容量的定义o 定义：信道容量为平均互信息的最大值n
8、其单位是比特/符号或奈特/符号。o 平均互信息 I(X;Y)是输入变量 X 概率分布 p(x)的上凸函数。n对于一个固定的信道，总存在一种信源概率分布，使传输每一个符号平均获得的信息量，即平均互信息 I(X;Y)最大，而相应的概率分布 p(x)称为。()max(;)defp xCI X Y16信道容量的概念信道容量的概念o 信道容量C仅与信道的统计特性有关，与信源分布无关。n I(X;Y)的值是由信道传递概率决定的。n 信道传递概率矩阵描述了信道的统计特性o 信道容量表征信道传送信息的最大能力。n 实际中信道传送的信息量必须小于信道容量，否则在传送过程中将会出现错误。17信息传输率信息传输率R
9、与信息传输速率与信息传输速率Rto R 定义为：信道中平均每个符号所能传送的信息量。单位为：比特/符号。n 平均互信息I(X;Y)是接收到符号Y 后平均每个符号获得的关于X 的信息量。n 信道的信息传输率就是平均互信息n R=I(X;Y)o 如果平均传输一个符号为 t 秒，则信道每秒平均传输的信息量 Rt（单位：比特/秒），一般称为信息传输速率：1(;)tRI X Yt18信道容量与信息传输速率信道容量与信息传输速率o 信道容量 C 实际上是某一个固定信道的最大的信息传输速率。o 如果平均传输一个符号需要 t 秒钟，则信道在单位时间内平均传输的最大信息量 Ct（单位：比特/秒）为：()1max
10、(;)tp xCI X Yt19第第3章信道容量章信道容量o 3.1信道的数学模型和分类信道的数学模型和分类o 3.2单符号离散信道的信道容量单符号离散信道的信道容量n 3.2.1 信道容量的定义信道容量的定义n 3.2.2 几种特殊离散信道的信道容量几种特殊离散信道的信道容量n 3.2.3 离散信道容量的一般计算方法离散信道容量的一般计算方法o 3.3多符号离散信道多符号离散信道o 3.4多用户信道多用户信道o 3.5连续信道连续信道o 3.6信道编码定理信道编码定理20单符号离散信道单符号离散信道o 单符号离散信道的输入和输出都是单个随机变量，其数学模型如下图：o 信道的输入随机变量取值于
11、符号集Xo 信道的输出随机变量取值于符号集Yo 信道的传递概率为 1,2,1,2,.,;.,nmXx xxYy yy信道(/)jip yxXY(/)ijjipp yx21简单的离散无记忆信道简单的离散无记忆信道o 信道矩阵为：o 且满足n 即矩阵中每一行之和为1。(/),.jiX P yxY其概率空间为,1111mnnmppppP11;1,2,jmijpin22几种特殊离散信道的信道容量几种特殊离散信道的信道容量o 离散无噪信道的信道容量离散无噪信道的信道容量o 强对称离散信道的信道容量强对称离散信道的信道容量o 对称离散信道的信道容量对称离散信道的信道容量o 准对称离散信道的信道容量准对称离
12、散信道的信道容量23离散无噪信道离散无噪信道o 离散无噪信道的输出Y与输入X之间有着确定的关系，一般有以下三类：n 无损信道n 无噪（确定）信道n 无噪无损信道24损失熵损失熵H(X/Y)与噪声熵与噪声熵H(Y/X)|;H X YH X YH XI X YX称为损失熵，即信道疑义度。表示信源符号通过有噪信道传输后所引起的信息量的损失。因为损失熵等于信源 所含有的信息量，减去信道平均传送一个符号所得到的信息量。|;H Y XH Y XH YI X YY称为噪声熵，反映了信道中噪声源的不确定性。因为噪声熵等于输出信源 所含有的信息量,减去信道平均传送一个符号所得到的信息量。25无损信道无损信道o
13、无损信道的一个输入对应多个互不相交的输出。31/2 1/2 0 0 0 0 0 0 3/5 3/10 1/10 0 0 0 0 0 0 1nP当时，其信道矩阵为1/10my5y3x6y3B1x1y2y1B1/21/212x3y4y2B3/53/10nxnBXY0 y|1 y|0jiijjiBp xyBH X Y信道的后向概率故知损失熵26无损信道的信道容量无损信道的信道容量()()(;)()()C=max(;)max()logp xp xI X YH XH YI X YH Xn于是，可求出无损信道的平均互信息为其信道容量|0ijxyH Y X 在这类信道中，因为信源发生符号，并不能确定在信道输
14、出端会发生哪个，因此噪声熵。27无噪信道无噪信道o 无噪信道的一个输出对应着多个互不相交的输入。21 0 01 0 00 1 00 1 00 1 00|1|0ijjiijmxAp yxxAH Y XP当 时，信道矩阵为:前向概率因此，噪声熵。5xnx3x4x1x2x1y2ymy1A2AmA11111111XY28无噪信道的信道容量无噪信道的信道容量|0jiyxH X Y 在这类信道中，信道输出端接收到某个 以后，并不能断定是哪一个输入符号，因而损失熵。()()(;)()()C=max(;)max()logp xp xI X YH YH XI X YH Ym于是，可以求出确定信道的平均互信息为其
15、信道容量达到此类信道的信道容量的概率分布是使信道输出分布为等概分布的输入分布。29无损无噪信道无损无噪信道o 无损无噪信道的输入和输出是一一对应关系，如右图所示。3xnx1x2x1y2ymy1111XY3y3100010 001|0|1 jiijjiijnp yxp xyijp yxp xyijP当时，其信道矩阵为单位阵 信道的前向概率和后向概率一致。即30无损无噪信道无损无噪信道()()|(;)()()C=max(;)max()logp xp xH Y XH X YI X YH XH YYI X YH Xn信道的噪声熵和损失熵均等于零。故无损确定信道的平均互信息为它表示信道输出端接收到符号
16、后，平均获得的信息量就是信源发出每个符号所含有的平均信息量，信道中没有损失信息。其信道容量31几种特殊离散信道的信道容量几种特殊离散信道的信道容量o 离散无噪信道的信道容量离散无噪信道的信道容量o 强对称离散信道的信道容量强对称离散信道的信道容量o 对称离散信道的信道容量对称离散信道的信道容量o 准对称离散信道的信道容量准对称离散信道的信道容量32离散对称信道离散对称信道o 信道矩阵具有很强对称性的特殊信道n 离散输入对称信道n 离散输出对称信道n 对称信道33离散输入对称信道离散输入对称信道o 定义：若一个离散无记忆信道的信道矩阵中，每一行都是其它行的同一组元素的不同排列，则称此类信道为离散
17、输入对称信道。n矩阵的行是排列的。1/3 1/3 1/6 1/61/6 1/3 1/6 1/3P例如，信道矩阵为34离散输出对称信道离散输出对称信道o 定义：若一个离散无记忆信道的信道矩阵中，每一列都是其他列的同一组元素的不同排列，则称该类信道为离散输出对称信道。n矩阵的列是排列的。0.4 0.60.6 0.40.5 0.5例如:P35离散准对称信道、对称信道离散准对称信道、对称信道o 定义：若一个离散无记忆信道的信道矩阵中，按照信道的输出集Y(即信道矩阵的列)可以将信道划分成s个子集(子矩阵)，每个子矩阵中的每一行(列)都是其它行(列)的同一组元素的不同排列，则称这类信道为离散准对称离散准对
18、称信道信道。n矩阵的行是可排列的，列不可排列。n子矩阵具有可排列性。o 当划分的子集只有一个时，信道是关于输入和输出对称的，这类信道称为对称信道对称信道。n矩阵具有可排列性：矩阵的行和列都是可排列的。36离散（准）对称信道离散（准）对称信道举例举例0.8 0.1 0.1 =0.1 0.1 0.811111112361113366 =11116231116633362PPP例如，信道矩阵为例如，信道矩阵为37对称信道对称信道o 定理定理：若一个离散对称信道具有 n 个输入符号，m 个输出符号，则当输入为等概分布时，达到信道容量，且1212 log()mmCmH q qqq qq其中，为信道矩阵中
19、的任一行。o 引理引理：对于对称信道，只有当信道输入分布为等概分布时，输出分布才能为等概分布。o 根据引理，对称信道的最佳输入分布为等概分布。38例例121/21/31/61/61/21/31/31/61/2log,log1/2 1/3 1/6111111 log3logloglog0.126 /2233660.126nCmH q qqmHP设某离散对称信道的信道矩阵为该信道的信道容量为:，比特 符号表明，在该对称信道中，每个符号平均能够传输的最大信息量为比特。而且只有当信道输入符号是等概分布时才能达到这个最大值。39定理定理(准对称信道准对称信道)o 如果一个n行m列单符号离散信道矩阵 P
20、的行是可排列的，列不可排列。矩阵中的m 列可分成 s 个不相交的子集分别有m1,m2,.,ms 个元素（m1+m2+.+ms=m），n行 mk,(k=1,2,.,s)列组成的子矩阵 P k 具有可排列性。该准对称信道的容量为：o 实现离散准对称无记忆信道信道容量的输入分布为等概分布。12112()log()()()()skkkmkmkCm p yp yH q qqq qqp ykp y 其中，为信道矩阵中的任一行，为第个子集中概率的平均值。40例题例题(准对称信道准对称信道)1/21/41/81/81/41/21/81/8P例：信道矩阵，求其信道容量。41均匀信道（强对称信道）均匀信道（强对称
21、信道）111 1111111ppppnnnppppPppnnnppppnnn如果信道输入符号和输出符号个数相同，且信道矩阵为式中则称此信道为强对称信道或均匀信道。42均匀信道的几个特性均匀信道的几个特性o 均匀信道是对称信道的一个特例；o 输入符号数与输出符号数相等；o 信道中总的错误概率为 p，对称地平均分配给 n 1 个输出符号，n 为输入符号的个数；o 均匀信道中不仅各行之和为 1，而且各列之和也为 1n 一般信道各列之和不一定等于 1o 二元对称信道就是 n=2 的均匀信道。43均匀信道的信道容量均匀信道的信道容量C 12log log,111 loglogloglog1111 log
22、loglog1 loglog1mCnH q qqpppnHpnnnppppnppnnnnpnpppnnpnH ppp证明：其中，是错误传递概率；是正确传递概率。达到C信道容量的分布是信道输入为等概分布。loglog1CnpnH p均匀信道的信道容量为 44例例5 二元对称信道的信道容量二元对称信道的信道容量(;)()()二元对称信道的平均互信息为 如图所示，I X YH wpwpH p(;)I X Yw 1()H p01/21;1/2 1/21/1 平均互信息对信源概率分布 存在一个最大值，即当时，。因而二元对称信道的信道容量单位：比特 秒 为 I X YwwwH wpw pHCCH p451
23、.01.00.80.80.60.60.40.40.20.20p概率C/(/)容量比特 符号例例5（续）（续）信道容量 仅为信道传递概率 的函数，而与信道输入变量 的概率分布 无关。不同的二元对称信道（其传递概率 不同）信道容量也将不同，如下图所示CpXwp461/20()pCP x当时，其信道容量，可见，此时不管输入概率分布如何，都能达到信道容量。因为任何的输入概率分布都使平均互信息等于零，达到信道容量。说明此信道输入端不能传递任何信息到输出端。当然，这种信道是没有任何意义的，但它在理论上正好说明信道的最佳输入分布不一定是唯一的。二元对称信道的信道容量二元对称信道的信道容量47第第3章信道容量
24、章信道容量o 3.1信道的数学模型和分类信道的数学模型和分类o 3.2单符号离散信道的信道容量单符号离散信道的信道容量n3.2.1 信道容量的定义信道容量的定义n3.2.2 几种特殊离散信道的信道容量几种特殊离散信道的信道容量n3.2.3 离散信道容量的一般计算方法离散信道容量的一般计算方法o 3.3多符号离散信道多符号离散信道o 3.4多用户信道多用户信道o 3.5连续信道连续信道o 3.6信道编码定理信道编码定理48一般离散信道一般离散信道 1;,1,2,1iniiI X Yp xinp x平均互信息是 n 个变量的多元函数，且满足约束条件，故可用拉格朗日乘子法来计算这个条件极值。;iii
25、p xI X Yp xI X Yp x信道容量定义为：在信道固定的条件下，对所有可能的输入概率分布，求平均互信息的极大值。前面已经导出，平均互信息是输入概率分布的上凸函数，因此对的极大值必然存在。一般的离散无记忆信道达到信道容量的输入概率分布应满足的条件？49一般离散信道容量的计算一般离散信道容量的计算-1 11(;)1(;)10niiniiiiFI X Yp xI X Yp xFCp xp x引进一个新的函数其中，为拉格朗日乘子，是待定常数。解方程组，可求得一般信道容量。50一般离散信道容量的计算一般离散信道容量的计算-2 111111/;1,2,.,(;)()(/)1(;)log/log0
26、0/1mnmjjijijijijnjjijijiiiniiiiniiidp yp yp x p yxp yxirdp xI X YH YH YXpI X YpxFp xp xp xp xyp yp x p yxp yx由 有因为，所以方程组，可写为求偏导得：11/log/log/log/0mmjijjijijijjp yxp yp yxep yxp yx51一般离散信道容量的计算一般离散信道容量的计算-3 11111loglnlog;/1/lo/loglogloglog(;)glogmjjjijmjnmjijiijjijiijjiinip yp yep yxp yxp yxep xp yeee
27、p yxp yxp yI X YCp xp x其中，所以，整理上式得：对该式两边乘以并求和即为平均互信息的最大值11/log/log/log/0mmjijjijijijjp yxp yp yxep yxp yx1/loglogmjijijjp yxp yxep y52定理定理 1|1;=|log;0 2 ;0 ;mjiiiijijijiiCp xI x YCp xiI x Yp yxI x Yp yxpCp xiI X YyC设有一般离散信道，它有n个输入符号，m个输出符号。当且仅当存在常数 使输入分布满足对一切对一切 时，达极大值。此时，常数 即为所求的信道容量。式中称为条件 iiYXxXx
28、Y。它表示信道输出端接收到符号集 以后，获得关于的信息量。或者说，信源符互信息号对信道输出端符号集平均提供的互信息。1/(;)/loglogmjijijjip yxp yI xxYeCp y令53定理的说明定理的说明o 该定理只给出了达到信道容量时，最佳输入概率分布应满足的条件，并没有给出输入符号的最佳概率分布值，因而也没有给出信道容量的数值。n 该定理还隐含着，达到信道容量的最佳分布并不一定是唯一的。n 在一些特殊情况下，常常可以利用这一定理找出所求的输入概率分布和信道容量。54一般离散信道容量的计算（续）一般离散信道容量的计算（续）11111111/log/loglog/log/22 21
29、22log2/jjjjmmjijijijjjjjmmjijijijjjjmmCCjjjjmmCjjjijip yxp yxp yxp yCp yCp yxp yxp yxp yjp yCp yp xp yx令则：，根据信道矩阵可求出且，两边对 求和从而求出信道容量再根据式可求出 1niip x对应的输入概率分布1/(;)=/loglogmjijijijp yxpI x YyxeCp y令55一般离散信道容量的计算步骤一般离散信道容量的计算步骤 10(;)10iiniiiiip xp xCI X Yp xp xp xCp xC注意：必须最后解出，并确认所有的时，所求的 才存在因为在对求偏导时，仅
30、限制并没有限制，所以求出的有可能为负值，此时的 就不存在，必须对进行调整，再重新求解 一般要通过迭代算法来实现1111/log/log/jjmmjijjijijjjmjCjjnjijiiip yxp yxp yxCCp yp yp yp xp yxp x将一般离散信道容量的计算步骤总结如下：（）由，求；（）由，求；（）由，求；（）由，求.56例题：求一般信道的信道容量例题：求一般信道的信道容量111111110;1log1log 1loglog 1log11log/l111;11og/logjjmmjijjijijjjmjCjCjpCp yyxp yxp yxCCp yp y 1122（）由，求；（）由，求；（得得）由，求；12111111p yp y C例：有一信道矩阵101-求信道容量 57例题：求一般信道的信道容量例题：求一般信道的信道容量 1111111;111;1111/0log 11/njijiiip yp xp yp x p yxp xp xp yp xp xp xp yxp xp xCC 11222121212由方程组解得：因为 是条件转移概率，所以01，从而有，保证了（）由，求.的存在
