1、第第4章章 信道与信道容量信道与信道容量 第4章 信道与信道容量 4.1 信道的描述和分类信道的描述和分类 4.2 信道容量的定义信道容量的定义 4.3 离散信道的信道容量离散信道的信道容量 4.4 离散无记忆信道容量的迭代算法离散无记忆信道容量的迭代算法 4.5 连续信道的信道容量连续信道的信道容量 习题习题4 第第4章章 信道与信道容量信道与信道容量 由前面的讨论我们已经知道，在一般的信息传递过程中，信宿对信源的了解(即获取信源发出的信息）是通过对信道的输出Y进行观测而实现的。因此，信道是信息传输系统的重要部分。在一般的信息传输、处理系统的研究中，对于信道所具有的功能和所包括范围的理解应当
2、注意下面两点。第第4章章 信道与信道容量信道与信道容量（1）信道承担了信息的传输、存储和处理等任务。通常我们认为信道是传输信息的物理媒介。但是对于一般信息系统，在发出信息的信源与接收信息的信宿之间所进行的各种变换与处理，都可以看做此信息系统中信道所具有的功能。例如，地球资源卫星遥感信息获取与处理系统，放置在资源卫星上的多光谱扫描设备采集地球表面地物的反射、辐射电磁波信号，得到遥感影像数据并以无线通信方式传送，地面接收站接收遥感影像数据并记录在存储介质中，根据应用要求进行滤波、增强、分类、识别，提取各类目标信息。第第4章章 信道与信道容量信道与信道容量 如果将反射、辐射电磁波的地球（信息源）与研
3、究人员（信宿）之间看做信道，则此信道中不仅进行着信息的传递，还包含着对信息的存储和处理。因此，在一般的信息系统中，信道除了具有在某种物理媒介中传递信号的功能之外，还应当包括对信息的采集、编码表示、存储、重建、提取、识别等多种信息处理功能。第第4章章 信道与信道容量信道与信道容量（2）信道所包括的范围可以根据研究对象和应用条件的不同而确定。在对信息传输系统进行分析和研究时，针对系统中不同的处理要求和处理方法，往往在分析研究的具体对象、信号特征等方面有较大差异。为了使分析更加简明，更有针对性，常将信道在信息系统中所包括的范围加以适当的限定。第第4章章 信道与信道容量信道与信道容量 例如，对于一个多
4、媒体数据光盘的刻录、播放系统，信道的范围可包括：视频和音频数据的采集、压缩编码，激光盘片刻录，读盘、解压缩恢复视频和音频数据，显示还原图像、声音信息的全过程。如果仅考虑播放过程，则信源指数字媒体作品光盘，信宿为观看者。因此信道的范围为：数据读取、解压缩并按照一定格式重建视频、音频信号等处理过程。第第4章章 信道与信道容量信道与信道容量 显然，根据不同的应用要求和研究对象明确信道所包括的范围，这是我们明确信息系统设计的任务，从而可有针对性地开展研究与分析工作。在信息理论基础研究中，信道的主要任务是以符号的形式传输信息和存储信息，对于信道进行研究的主要问题是信道中能够传送或存储的最大信息量，即信道
5、容量问题。这一章我们将从信道的统计特性分析入手，给出信道容量的定义并对常见信道讨论其信道容量的计算方法。第第4章章 信道与信道容量信道与信道容量 4.1 信道的描述和分类信道的描述和分类信道是传输载荷信息的消息（信号）的物理媒介或通道。信道的输入（即信源输出的消息）是随机变量，加之通信系统中存在着随机性的噪声或干扰，因此信道的输出也是一个随机变量。更一般地讲，信源的输出是广义的时间连续的随机信号或随机变量序列，常用随机过程来描述，因而信道的输出也是连续的随机信号或随机变量序列，也要用随机过程加以描述。因此，信道的描述和分类都需要从统计的观点出发，用统计的方法加以分析和表述。第第4章章 信道与信
6、道容量信道与信道容量 4.1.1 信道的描述信道的描述在前面的讨论中，我们已经给出了最简单的信道，即单符号的离散信道的数学模型。如果信道的输入是有r种取值可能的随机变量X，输出是有s种取值可能的随机变量Y，则信道输入、输出之间的统计关系可以由转移概率：P(yj|xi)i=1,2,r;j=1,2,s(4.1)表示。第第4章章 信道与信道容量信道与信道容量 然而，在实际的信息传输系统中，信源的输出为一个随机变量序列X=(X1X2XN)，在信道的输出端相应地为输出随机变量序列Y=(Y1Y2YN)。如果Xi有r种取值，则X的样矢量有rN种;如果Yi有s种取值，则Y的样矢量有sN种。因此信道的数学模型应
7、当由输入随机矢量X和输出随机矢量Y的转移概率关系P(y|x)来描述。这组rNsN个条件概率反映出了输入随机变量与输出随机变量每一对样值之间的统计依赖关系，反映出了一般信道所具有的最基本的统计特性。第第4章章 信道与信道容量信道与信道容量 4.1.2 信道的分类信道的分类根据信道的输入、输出随机变量或随机矢量的取值类型、它们的相互关系以及在某些方面的特点，信道可以划分为不同的类型。1.按随机变量的取值类型划分按随机变量的取值类型划分(1)离散信道:信道的输入、输出随机变量的取值均为离散事件的集合。离散信道有时也称做数字信道。第第4章章 信道与信道容量信道与信道容量(2)连续信道：信道的输入、输出
8、随机变量X和Y都是连续事件。这类信道也常称为模拟信道。(3)半离散半连续信道:信道的输入和输出随机变量空间一个是离散集，另一个是连续集。例如，模/数转换系统的输入是连续的随机变量，输出是离散随机变量，称为输入连续、输出离散的信道。反之，数/模转换系统是输入离散、输出连续的信道。第第4章章 信道与信道容量信道与信道容量 2.按信道的输入、输出的个数划分按信道的输入、输出的个数划分(1)单用户信道：只有一个输入信号和一个输出信号构成的信道。(2)多用户信道：信道的输入或输出中至少有一个或两个以上事件构成的集合。第第4章章 信道与信道容量信道与信道容量 3.按输入随机变量和输出随机变量的统计关系的特
9、按输入随机变量和输出随机变量的统计关系的特点划分点划分条件概率P(y|x)具有不同的特点时，信道的输入、输出具有不同的概率转移关系，信息的传递也具有不同的特性。对于离散信道，根据条件概率的特点，可分为以下三种情况。第第4章章 信道与信道容量信道与信道容量 1）无干扰信道无干扰信道中没有随机性的干扰，输出矢量Y与输入矢量X之间有确定的对应关系。这种确定关系可以是下面三种形式的某一种。（1）无噪无损信道。此时Y是X的一一对应的函数，如图4-1所示，有y=f(x)，即1,()(|)0,()fpfyxy xyx(4.2)第第4章章 信道与信道容量信道与信道容量 信道转移概率呈0、1分布，X、Y之间的互
10、信息为I(X;Y)=H(X)=H(Y)(4.3)由于这样的信道中无随机性干扰，因此由Y所得到的关于X的信息与X或Y的熵相同，即在这样的信道中不会损失信息。第第4章章 信道与信道容量信道与信道容量 图4-1 无噪无损信道示例 第第4章章 信道与信道容量信道与信道容量（2）有噪无损信道。此类信道的Y也是X的确定函数，但是对于某一个输入随机矢量X可能会有多个输出随机矢量，而相应的输出随机矢量只有确定的一个X与之对应，如图4-2所示（图中+=1）。第第4章章 信道与信道容量信道与信道容量 图4-2 有噪无损信道示例 第第4章章 信道与信道容量信道与信道容量 在有噪无损信道中，由某一个输入随机矢量xi并
11、不能唯一地确定信道的输出，表明信道中存在着干扰。但是由于yj与xi有唯一的确定关系，xi载荷的信息可以由yj全部表示，因此信道中仍然没有产生信息的损失，即I(X;Y)=H(X)H(Y)(4.4)maxI(X;Y)maxH(X)(4.5)第第4章章 信道与信道容量信道与信道容量 （3）无噪有损信道。此时Y是X的确定函数，但是不同的输入X可能会有同样的输出Y，如图4-3所示。第第4章章 信道与信道容量信道与信道容量 图4-3 无噪有损信道示例 第第4章章 信道与信道容量信道与信道容量 对于无噪有损信道，由于每一种信道输入xi只有唯一的一种输出，因此信道中无随机性干扰。但是由于多个信道输入xi对应于
12、同一种输出随机矢量yj，因此系统传输的信息将会产生损失,即(4.6)(;)()()IHHX YYY第第4章章 信道与信道容量信道与信道容量 2）有干扰无记忆信道通常，实际信道的输入随机矢量X与输出随机矢量Y之间并没有确定的对应关系，而是某种概率转移关系。因此，实际信道中常存在着随机性的干扰。如果信道在某一时刻输出的随机变量仅统计依赖于即时的输入随机变量X，与前面时刻信道的输入、输出随机变量无关，则称这样的信道为有干扰无记忆信道。满足离散无记忆信道的充要条件为第第4章章 信道与信道容量信道与信道容量(4.7)因此有干扰无记忆信道的特性可以由转移概率矩阵P(y|x)给出。12121(|)(|)(|
13、)NNNiiiPP y yyx xxP yxYX第第4章章 信道与信道容量信道与信道容量 3）有干扰有记忆信道有干扰有记忆信道是最一般的信道，信道在某时刻的输出随机变量不仅与信道即时的输入随机变量有关，而且可能与前面时刻信道的输入、输出随机变量有关，即表现为信道的输出是有记忆的。这时信道的条件概率不再满足式(4.7)。处理这类有记忆信道时，最直观的方法是把记忆较强的N个符号当作一个矢量符号来处理，而各矢量符号之间认为是无记忆的，这样就转化成无记忆信道的问题。当然，这样处理一般会引入误差，因为实际上第一个矢量的最后几个符号与第二个矢量的最前面几个符号是有关联的。N取得越大，误差将越小。第第4章章
14、 信道与信道容量信道与信道容量 另一种处理方法是把P(y|x)看成Markov链的形式，这是有限记忆信道的问题。把信道某时刻的输入和输出序列看成为信道的状态，那么，信道的统计特性可用在已知当前时刻的输入符号和前一时刻信道所处状态的条件下，信道的输出符号和所处状态的联合条件概率来描述，即用P(yn,Sn|xn,Sn1)来描述。在本课程的讨论中，我们仅仅考虑简单的单符号离散无记忆信道以及高斯白噪声波形信道。第第4章章 信道与信道容量信道与信道容量 4.1.3 离散无记忆信道离散无记忆信道设离散信道的输入随机变量为X，取值空间为a1,a2,ar,输出随机变量为Y，取值空间为b1,b2,bs，信道的转
15、移概率为一组条件概率，即P(y|x)=P(y=bj|x=ai)=P(bj|ai)i=1,2,r;j=1,2,s(4.8)第第4章章 信道与信道容量信道与信道容量 其中，(4.9)1(|)01,2,1,2,(|)11,2,jisjijP bairjsP bair第第4章章 信道与信道容量信道与信道容量 由于信道中存在随机性干扰，因此有可能使传输产生错误。这种信道干扰对传输的影响可以用转移概率P(bj|ai)（i=1,2,r;j=1,2,s）来描述。于是，信道矩阵P实际上是一个转移概率矩阵，也称为信道转移概率矩阵。即P=P(bj|ai)=pij,i=1,2,r;j=1,2,s(4.10)第第4章章
16、 信道与信道容量信道与信道容量 或并且满足。(4.11)111212122212ssrrrspppppppppP10,1,1,sijijjppir第第4章章 信道与信道容量信道与信道容量【例例4.1】二进制对称信道（Binary Symmetrical Channel，BSC）如图4-4所示。在图4-4中，输入、输出随机变量X,Y=0,1。因为r=s=2,所以我们将此类信道称为二进制对称信道。第第4章章 信道与信道容量信道与信道容量 图4-4 二进制对称信道 第第4章章 信道与信道容量信道与信道容量 由前面的讨论可知，二进制对称信道的转移概率为(4.12)11221221(|)(0|0)1(|
17、)(1|1)1(|)(0|1)(|)(1|0)P baPppP baPppP baPpP baPp 第第4章章 信道与信道容量信道与信道容量 可以看出，表示单个符号无错误传输的概率，而p表示单个符号在传输中发生错误的概率。如果用信道矩阵写出各转移概率，则有：此矩阵为一对称矩阵，因此这种信道被称为二进制对称信道。(4.13)pppppP第第4章章 信道与信道容量信道与信道容量 4.1.4 高斯白噪声加性波形信道高斯白噪声加性波形信道信道中的噪声是高斯白噪声。具有高斯分布的白噪声称为高斯白噪声。高斯噪声和白噪声是从不同的角度来定义的。高斯噪声是指它的N维概率密度函数服从高斯分布，并不涉及其功率谱密
18、度的形状；白噪声则是就其功率谱密度是均匀分布而言的，而不论它服从什么样的概率分布。第第4章章 信道与信道容量信道与信道容量 一般情况下，把既服从高斯分布而功率谱密度又是均匀分布的噪声称为高斯白噪声。电阻内的热噪声就是高斯白噪声的一个典型实例。因此，通信系统中的波形信道常假设为高斯白噪声信道。低频限带高斯白噪声有一个很重要的性质，即低频限带高斯白噪声n(t)(均值为零，功率谱密度为N0/2)是通过一个理想低通滤波器后所得到的。如果理想低通滤波器的带宽为F Hz，那么它的传递函数的频率响应为1 22()0FFK其他第第4章章 信道与信道容量信道与信道容量（考虑双边谱密度）因此低频限带高斯白噪声的功
19、率谱密度为其自相关函数为0 22()()()20nnNFFPPKj01sin(2)()()ed22nnFRPN FF其他第第4章章 信道与信道容量信道与信道容量 其中，N0F=Pn为噪声平均功率。因为其均值为零，所以n(t)的平均功率为则220 (0)nnPE nRN F0 0 ()0 (1,2)2nN FRnnF 第第4章章 信道与信道容量信道与信道容量 这表示，在时间间隔的两个样本点之间的相关函数等于零，即12F 1()()02nnRRF 第第4章章 信道与信道容量信道与信道容量 所以各样本点之间不相关。也就是说，频率受限(频率限制在FF之间或限制在0F之间)的高斯白噪声n(t)，其在有限
20、T时间内取样后分解成N=2FT个连续型随机变量n1、n2、nN时，这些随机变量相邻的时间间隔为，所以它们的相关函数等于零，它们之间是不相关的。又因为各随机变量是高斯概率密度分布，所以随机变量之间统计独立。每个随机变量ni(i=1,2,N)都是均值为零，方差为的高斯变量。0022N FTNFT12F 第第4章章 信道与信道容量信道与信道容量 4.2 信道容量的定义信道容量的定义4.2.1 信息传输率信息传输率在信息传输系统中，信道每传递一个符号所能够传递（载荷）的平均信息量称为信道的信息传输率，记做R。在图4-5所示的系统中，平均互信息I（X；Y）即为在信道的输出端接收到符号集Y后，由每一个输出
21、符号中获得的关于信源X的信息量。因此信道的信息传输率就是这样的信息系统中的平均互信息，即R=I(X;Y)比特/符号(4.14)第第4章章 信道与信道容量信道与信道容量 图4-5 信息传输系统模型 第第4章章 信道与信道容量信道与信道容量 有时我们关心的是信道在单位时间内能够传递多少信息量，或者是在传输一个符号的时间内信道中平均传递的信息量。此时，若平均传输一个符号需要t秒，而每一符号传送的信息量为I(X;Y)，则信道每秒传输的信息量便为 比特/秒(4.15)通常将Rt称为信息传输速率。t1(;)RI X Yt第第4章章 信道与信道容量信道与信道容量 4.2.2 信道容量信道容量由第3章的讨论可
22、知，平均互信息I(X;Y)不但与信道的转移概率P(y|x)有关，而且与信源的概率分布P(x)有关。因此R=I(X;Y)只表示出了传输信源符号时信道所传送的信息率。在研究一个通信系统时我们希望能够找到这样的量，它能够反映出给定信道所具有的传输信息的能力，即该信道传输信息的最大能力。第第4章章 信道与信道容量信道与信道容量 在对互信息的讨论中，我们已经知道,对于I(X;Y)=I(P(x),P(y|x)(4.16)当给定信道转移概率P(y|x)之后，I(X;Y)是信源概率分布P(x)的上凸函数。因此，对于一个信道转移概率为P(y|x)的给定信道，总存在着一种信源（其概率分布为P(x)），使传输每一个
23、符号平均获得的信息量最大。这说明对于每一个给定的信道，都具有一个最大的信息传输率，这个最大的信息传输率反映出了该信道传输信息的极限能力。第第4章章 信道与信道容量信道与信道容量 定义这个最大的信息传输率为该信道的信道容量C，即(4.17)如果平均传输一个符号需要t秒钟，则给定信道在单位时间内平均传输的最大信息量(即信息容量)为 比特/秒(4.18)()max(;)P xCI X Yt()1max(;)P xCI X Yt第第4章章 信道与信道容量信道与信道容量 由上述分析和定义可以看出，信道容量C与信源的概率分布P(x)并无函数关系，它只是信道转移概率的函数，只与信道的统计特性P(y|x)有关
24、。所以,C是描述信道传输信息能力的一个参数。信道容量的计算可以通过找出适当的P(x)，使I(X;Y;P(x)为极大值来完成。第第4章章 信道与信道容量信道与信道容量【例例4.2】对于例4.1给出的二进制对称信道，设输入信源的概率空间为01,1X Pww第第4章章 信道与信道容量信道与信道容量 在这样的通信系统中，可以求出平均互信息为2(;)()(|)1 ()()(|)log(|)11 ()()log(1)log111 ()log(1)log()()1XYXI X YH YH Y XH YP xP y xP y xH YP xppppH YppH YHppp第第4章章 信道与信道容量信道与信道容
25、量 根据联合概率分布可求出输出符号Y的边缘概率为即P(y=0)=w(1p)+(1w)pP(y=1)=wp+(1w)(1p)()()(|)jjXP yP x P yx第第4章章 信道与信道容量信道与信道容量 因此对于给定的信道，即固定参数p时，互信息H(X;Y)是w的上凸函数，函数曲线如图4-6所示。21(;)(1)(1)log(1)(1)1(1)(1)log()(1)(1)(1)(1)()I X Ywpw pwpw pwpwpHpwpwpH wpw pH p第第4章章 信道与信道容量信道与信道容量 图4-6 二进制对称信道的互信息 第第4章章 信道与信道容量信道与信道容量 由图4-6可以看出，
26、对于给定的二进制对称信道，当信源X的概率分布不同时，在接收端平均由每个符号获得的信息量不同。当输入符号集X是等概率分布，即时，信道输出端平均每个符号才能获得最大信息量，并且这个最大的互信息(即此信道的信道容量)为1(0)(1)2P xP x2()max(;)1()P xCI X YHp 第第4章章 信道与信道容量信道与信道容量 对于一般的信道，其信道容量的计算就是对互信息I(X;Y)求最大值的问题。由于一般信道的信道容量的计算比较复杂，因此本课程主要针对几类特殊类型的信道，讨论其信道容量的计算方法。第第4章章 信道与信道容量信道与信道容量 4.3 离散信道的信道容量离散信道的信道容量4.3.1
27、 对称信道的信道容量对称信道的信道容量由前面的讨论我们知道，离散信道可以由其转移概率排成的信道矩阵加以描述。因此，若信道矩阵具有不同的特性，那么信道将有不同的特点。第第4章章 信道与信道容量信道与信道容量 首先我们给出信道的可排列性：若矩阵的每一行都由同一符号集中诸元素的不同排列组成，并且每一列也是由同一符号集中诸元素的不同排列组成，则称这样的矩阵具有可排列性。对于离散无记忆信道，输入随机变量Xx1,x2,xr，输出随机变量Yy1,y2,ys，若其rs的信道矩阵P(y|x)具有可排列性，则将这类信道称为对称信道。12,sp pp12,rq qq第第4章章 信道与信道容量信道与信道容量 例例4.
28、3】已知有两个信道，其信道矩阵分别为111113366()11116633P y x 2111236111()623111362P y x 第第4章章 信道与信道容量信道与信道容量 由于这两个矩阵都具有可排列性，因此它们所表示的信道是对称信道。但是矩阵：311113366()11116363P y x 40.60.30.1()0.30.10.6P y x 第第4章章 信道与信道容量信道与信道容量 不具有可排列性，所以它们所表示的信道不是对称信道。若输入符号和输出符号个数相同，都等于r，且信道转移矩阵为(4.19)111111ppprrppprrppprr P第第4章章 信道与信道容量信道与信道
29、容量 其中,，则称此信道为强对称信道或均匀信道。这类信道总的错误概率为p，对称地分配给r1个输出符号，它是离散对称信道的一个特例，其信道矩阵中各列之和也等于1。二元对称信道就是r=2的强对称信道。下面我们讨论离散对称信道的信道容量。1pp第第4章章 信道与信道容量信道与信道容量 设信道的转移概率矩阵P(y|x)x具有对称性，在考虑信道的输入X与输出Y之间的互信息时，设有一个对称信道，其输入Xx1,x2,xr，输出Yy1,y2,ys，r行、s列的信道矩阵P(yj|xi)具有对称性。我们先分析一下此时条件熵的特点。(4.20)1111(|)()(|)log()(|)(|)rsrijiiiijiji
30、H Y XP x P yxPP x H Y xp yx第第4章章 信道与信道容量信道与信道容量 其中:(4.21)是由P(yj|xi)中第i行元素构成的熵函数。11(|)(|)log1,2,(|)sijijjiH Y xP yxirP yx第第4章章 信道与信道容量信道与信道容量 因为P(yj|xi)中的每一行都由的不同排列所构成，所以若以i为参变量，则由对称性可知：12,sp pp1121(|)(|)log(|)(,)1,2,sijiijisH Y xP yxP yxH p ppir第第4章章 信道与信道容量信道与信道容量 是与i无关的常量。因此(4.22)条件熵H(Y|X)与信源X的分布P
31、(xi)无关。121(|)()(|)(,)riisiH Y XP x H Y xH p pp第第4章章 信道与信道容量信道与信道容量 此时 根据信道容量的定义，应当有(4.23)12(;)()(|)()(,)sI X YH YH Y XH YH p pp12()max()(,)sP xCH YH p pp第第4章章 信道与信道容量信道与信道容量 此时，当信源概率分布P(x)改变时只有随机变量Y的熵H(Y)随之改变，互信息I(X;Y)最大值的计算便转化为求H(Y)的最大值问题。因为Yy1,y2,ys，所以由最大熵定理有：H(Y)logs当且仅当时等式成立。因此，应当找出使时信源的概率分布。1()
32、jp ys1()jp ys第第4章章 信道与信道容量信道与信道容量 由对称信道的特点可知，P(yj|xi)的每一列都是由的不同排列构成的,即有：常量 j=1,2,s 若信源X为等概率分布,即i=1,2,r1(|)rjiiP yx1()iP xr第第4章章 信道与信道容量信道与信道容量 01riiqr则 常数 111()()(|)(|)rrjijijiiiP yP x P yxP yxr1,2,js第第4章章 信道与信道容量信道与信道容量 由概率分布律可知，此时，所以当信源X为等概率分布时，对称信道具有最大的信息传输率。因此，对称信道的信道容量为 比特/符号(4.24)1(),1,2,jP yj
33、ss12log(,)sCsH p pp第第4章章 信道与信道容量信道与信道容量【例例4.4】设某信道为强对称信道，其转移概率矩阵为式(4.19)。根据其信道矩阵的特点，可知其信道容量为12log(,)log(,)111logloglogloglog111111loglog(1)log11loglog(1)loglogloglog(1)()sCrH p ppppprH prrrpppppprpprrrrrrpprpprrrrprpppprprH p(4.25)第第4章章 信道与信道容量信道与信道容量 对于强对称信道，p表示总的错误传输概率，而表示正确传输概率。显然，强对称信道在其输入为等概率分布
34、时达到其信道容量C。由式(4.24)可知，对于r=2的二进制对称信道，其信道容量为C=1H(p)=1+plogp+(1p)log(1p)比特/符号p第第4章章 信道与信道容量信道与信道容量 4.3.2 准对称信道的信道容量准对称信道的信道容量设信道的输入、输出随机变量取值为：Xx1,x2,xr，Yy1,y2,ys，已知rs的信道概率转移矩阵P=P(yj|xi)不具有可排列性。但是，如果p(yj|xi)的s列可以划分为m个不相交的子集(m0)，有：11()()()ln()1()()kksskkkjkjjjkjkjP yP yP yP yP yP y11()()kksskkjjjP yP y()(
35、)0kkkks P ys P y第第4章章 信道与信道容量信道与信道容量 即 11()ln()()ln()0kksskjkkjkjjjP yP yP yP y11()ln()()ln()kksskjkjkjkjjP yP yP yP y()ln()kkks P yP y 第第4章章 信道与信道容量信道与信道容量 如果每一个子集的信道输出符号发生的概率相同，则可达到其最大值skPk(y)lnPk(y)。因为子矩阵Pk是可排列的，即每一行元素均由的不同排列构成，而且每一列元素也是由同一集合的不同排列构成的，所以当信源符号X为等概率分布，即1()log()kskjkjjP yP y12,ksp pp
36、12,rq qq第第4章章 信道与信道容量信道与信道容量 时，一定能将使子集合sk中的输出符号yj具有相同的概率分布，即式(4.28)中的每一内和式均达到其最大值。于是我们得到了准对称信道的信道容量：即准对称信道的信道容量等于等概率输入的互信息。(4.29)121()()()rP xP xP xr1()(|)()rCH YH Y XP x第第4章章 信道与信道容量信道与信道容量【例例4.6】已知某信道的转移概率如表4-1所示，计算此信道的信道容量。第第4章章 信道与信道容量信道与信道容量 表4-1 P(y|x)第第4章章 信道与信道容量信道与信道容量 解解：此信道的信道矩阵为P不满足可排列性，
37、故此信道不是对称信道。(|)11102631110632PjiP yx第第4章章 信道与信道容量信道与信道容量 但是若将矩阵的四个列分为两个不相交的子集：s1：1,3s2：2,4则由每一子集构成的子矩阵：111261122 P2103103 P第第4章章 信道与信道容量信道与信道容量 都是可排列的。由此可知，此信道是准对称信道。根据准对称信道的信号的信道容量计算关系，取输入随机变量X为等概率分布，即，此时(x,y)的联合概率分布及Y的边缘概率分布如表4-2所示。121()()2P xP x第第4章章 信道与信道容量信道与信道容量 表4-2 P(x,y)第第4章章 信道与信道容量信道与信道容量
38、由Y的边缘概率分布可看出，在输入X等概率分布时，虽然准对称信道的输出Y不是等概率分布，但是对于每个子集s1和s2，子集中的符号是等概率的。由前面的分析可知，每个子集符号的概率均相等，保证了准对称信道输出随机变量Y的熵H（Y）达到其最大量。此时为1 1 1 1221(),log3log6log33 6 3 6363H YH第第4章章 信道与信道容量信道与信道容量 又可求出 241142111(|)()(|)log(|)1(|)log()(|)1 1 1(,)12 6 321log332iiiiiiiiiijiiiH Y XP xP yxP yxP yxP xP yxH第第4章章 信道与信道容量信
39、道与信道容量 因此，此准对称信道的信道容量为1()2()(|121log3log333211log30.45932 P XCH YH Y X比特 符号第第4章章 信道与信道容量信道与信道容量 4.3.3 可逆矩阵信道的信道容量可逆矩阵信道的信道容量如果信道的输入和输出有相同的符号个数，即Xx1,x2,xnYy1,y2,yn且信道的矩阵P(yj|xi)=P的逆矩阵P1存在，则此信道称为可逆矩阵信道。第第4章章 信道与信道容量信道与信道容量 对于给定的信道，输入概率分布P(xi)改变时平均互信息I(X;Y)也将随之改变。由于I(X;Y)是输入概率分布的上凸函数，因此一定存在一个极值点，使I(X;Y
40、)达到其最大值。根据信道容量的定义，这个极大值就是给定信道的信道容量。对于可逆矩阵信道，可以在给定的条件下运用拉格朗日乘子法计算互信息I(X;Y)的条件极值求出其信道容量。设给定一个可逆矩阵信道，nn的信道矩阵为(|),1,2,PP yxi jnji第第4章章 信道与信道容量信道与信道容量 为求出I(X;Y)在条件下的极值，构造一个辅助函数：1()1niiP x111111(;,()(1()()(|)(1()()log()()(|)log(|)(1()nkkknkkniijnnnkjkjkkkjkI X Y P xP xH YH Y XP xP yP yP xP yxP yxP x第第4章章
41、信道与信道容量信道与信道容量 因为，j=1,2,n,所以P(yj)也是输入概率分布P(xi)的函数，并且有偏微分：1()()(|)nikikkP yP xP yx()(|)()()1log()()ln2()()(|)1,2,ln2()iiiijiijiiijP yP yxP xP yP yP xP yP xP yxinP y为了计算互信息的条件极值，将辅助函数对输入概率分布P(xi)求偏导，则有：第第4章章 信道与信道容量信道与信道容量 11()log()()log()()()()nnjjjjjjiiiP yP yP yP yP xP xP x1(|)log(|)njijijP yxP yx1
42、1(|)(|)log()()ln2()nnjijijjjjjP yxP yxP yP yP y1(|)log(|)njijijP yxP yx11(|)1(|)log(|)()ln2nnjijijijjjP yxP yxP yxP y1(|)1(|)log()ln2njijijjP yxP yxP y1,2,in第第4章章 信道与信道容量信道与信道容量 因为 所以 222log 211ln2logloglogeee1(|)(|)loglog()()njijijijP yxP yxeP xP y第第4章章 信道与信道容量信道与信道容量 为了求出条件极值，令即(4.30)0()iP x1(|)(|
43、)loglog()njijijjP yxP yxeP y1,2,in第第4章章 信道与信道容量信道与信道容量 显然，式(4.30)为一个由n个方程构成的方程组。求解此方程组可以得到I(X;Y)的条件极值点，即使I(X;Y)在满足的条件下达到其最大值的一组输入极值点概率分布P(x1),P(x2),，P(xn)。在这组极值点概率分布下，互信息I(X;Y)即为给定信道的信道容量。下面我们计算在这组极值点输入概率分布下的互信息I(X;Y)。1()1niiP x第第4章章 信道与信道容量信道与信道容量 对于式(4.30)表示的由n个方程构成的方程组，将第i个方程的两端同乘以极值点概率分布P(xi)，即(
44、4.31)1(|)()(|)log(log)()()njiijiijjP yxP x P yxeP xP y1,2,in第第4章章 信道与信道容量信道与信道容量 将个方程的左、右两端分别相加（相当于将式(4.31)的左、右两端分别对i=1,2,n求和），即(4.32)111(|)()(|)log(log)()()lognnnjiijiiijijP yxP x P yxeP xP ye第第4章章 信道与信道容量信道与信道容量 显然,式(4.32)左端即为互信息I(X;Y)的表达式。由于此时的互信息I(X;Y)是在使其达到最大值的极值点概率分布下得到的，即式(4.32)的左端为因此，由信道容量的定
45、义可知，所给信道的信道容量满足下面关系式:C=loge+(4.33)()(;,)iP xmaxI X Y p第第4章章 信道与信道容量信道与信道容量 在这个信道容量关系式中，由于为待定常数，因此我们还不能由此得到信道容量的值，需要利用给定信道的特性作进一步的分布和推导。对于给定的信道，已知X、Y的离散集合有相同数目的元，信道转移概率构成的信道矩阵为一个方阵。在下面的分析中，将信道矩阵简单记做：(|)PjiijP yxp第第4章章 信道与信道容量信道与信道容量 其中,P(yj|xi)=pij表示信道矩阵的第i行、第j列元素。由于此信道是可逆矩阵信道，因此信道矩阵P的逆矩阵P1存在。我们将该信道矩
46、阵的nn逆矩阵表示为P1=R=rkj k,j=1,2,n其中,rkj为矩阵中的第k行、第j列元素。第第4章章 信道与信道容量信道与信道容量 已知R与P是互逆的，它们满足：111211112121222212221212100010001 nnnnnnnnnnnnrrrppprrrppprrrppp第第4章章 信道与信道容量信道与信道容量 由此互逆关系可以看出，R的第k行与P的第j列对应元素的乘积并求和为依据概率分布律应有：110nkiijkjikjr pkj11nijjp因此111111()()1nnnnnnkikiijkiijkjiijjijrrpr p第第4章章 信道与信道容量信道与信道容
47、量 应用给定可逆矩阵信道的信道矩阵及其逆矩阵具有的这些关系，我们可做进一步分析。将式(4.30)的两端同乘以rki，即有：上式左、右两端分别对i=1,2,n求和：1(|)(|)log(loge)1,2,()njikijikijjP yxrP yxrinP y111(|)(|)log(loge)()logennnjikijikiijijP yxr P yxrP y第第4章章 信道与信道容量信道与信道容量 根据式(4.33)所给出的关系，可得到：(4.34)1111(|)log(|)(|)log()nnnnkijijikijijijijCr P yxP yxr P yxP y第第4章章 信道与信道
48、容量信道与信道容量 在式(4.34)中，只有第二项中的P(yj)是未知量。应用上述可逆矩阵信道的关系，该式第二项为11111(|)log()()log()log()log()nnnnkijijkiijjijjinkjjkjr P yxP yr pP yP yP y第第4章章 信道与信道容量信道与信道容量 则式(4.34)为11log()(|)log(|)nnkkijijiijP yCr P yxP yx第第4章章 信道与信道容量信道与信道容量 此处我们取对数底为2，并对上式两端分别取以2为底的指数运算，便可得到输出Y的概率分布，即(4.35)其中,k=1,2,n。(|)log(|)11(|)l
49、og(|)11()222 knnCr P yxP yxj ij ikiijnnr P yxP yxj ij ikiijCP y第第4章章 信道与信道容量信道与信道容量 式(4.35)也是一个由n个方程构成的方程组。若将这n个方程的左、右两端分别对k=1,2,n求和：则得到：11(|)log(|)11()22 nnkkknnr P yxP yxj ij ikiijCP y11(|)log(|)11(|)log(|)1112222 nknknnr P yxP yxj ij ikiijCnnr P yxP yxj ij ikiijc第第4章章 信道与信道容量信道与信道容量 取以2为底的对数，得到：(
50、4.36)此即为给定的可逆矩阵信道的信道容量，单位为比特/符号。21(|)log(|)11log2 nknnr P yxP yxj ij ikiijC第第4章章 信道与信道容量信道与信道容量【例例4.7】计算图4-7所示信道的信道容量。解解：由图4-7中所示信道转移概率关系，可写出信道的信道矩阵为 首先，我们判断此信道是否为可逆矩阵信道，因101P1011 P第第4章章 信道与信道容量信道与信道容量 图4-7 第第4章章 信道与信道容量信道与信道容量 其伴随矩阵为于是得到信道矩阵P的逆阵为101P110111PRPP第第4章章 信道与信道容量信道与信道容量 由于此信道矩阵存在，因此此信道是可逆
