1、第3 3章 信道容量第3 3章 信道容量 3.0 3.0 引言 3.1 3.1 信道的数学模型和分类 3.2 3.2 单符号离散信道的信道容量 （重点）特殊信道；一般信道；解方程组；定义；信道容量定理 利用计算机迭代计算（实验内容）3.3 3.3 多符号离散信道 （多个输入、输出符号）3.4 3.4 离散组合信道 （独立并联 级联）3.5 3.5 连续信道 重点：香农公式的推导 物理意义 应用 3.6 3.6 信道编码定理2 2第3 3章 信道容量 3.0 3.0 引言 1.1.信道的定义 2.2.信道的功能 3.3.影响信息传输速率的因素 4.4.研究信道的目的 3.1 3.1 信道的数学模
2、型和分类 3.2 3.2 单符号离散信道的信道容量 3.3 3.3 多符号离散信道 3.4 3.4 离散组合信道 3.5 3.5 连续信道 3.6 3.6 信道编码定理3 3引言 1.1.信道的定义 2.2.信道的功能 以电（光）信号的形式传输、放大和存储信息 长距离传输 衰减大 噪声和干扰 需放大、中继、再生通信的传输通道通信原理 ：广义信道信息论与编码：以狭义信道为主 重点：信道容量的求取狭义：传输媒介 eg:空气 电话线 同轴电缆 双绞线 光纤 微波/卫星中继广义：传输媒介+调制功能+编码功能4 4引言 3.3.影响信息传输速率的因素 物理信道本身特性 （信道幅频、相频特性）载荷信息的信
3、号形式 （数字/模拟 是否调频 调相）信源输出信号的统计特性 平均互信息量的极值性 信源熵的大小 信源统计特性是否与信道匹配 4.4.研究信道的目的 信息论中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，从而分析信道的特性。5 5本章重点 针对各种信道，其信道容量的计算，特别是单符号信道、连续信道中的香农公式。主要研究内容：（两个方面）在什么条件（信源的输入概率分布）下，通过信道的信息量最大？最大值等于多少？6 6第3 3章 信道容量 3.0 3.0 引言 3.1 3.1 信道的数学模型和分类 1.1.信道的输入输出关系 2.2.信道的数学模型 3.3.信道的分
4、类 3.2 3.2 单符号离散信道的信道容量 3.3 3.3 多符号离散信道 3.4 3.4 离散组合信道 3.5 3.5 连续信道 3.6 3.6 信道编码定理7 71.1.信道的输入输出关系 信号在信道中传输会引入噪声和干扰，它们使得信号通过信道后产生错误和失真；信道的输入和输出之间一般并不是确定性的函数关系，而是统计依赖关系；知道了信道的输入信号、输出信号以及它们之间的统计依赖关系，信道的全部特性就确定了。一般来说，输入和输出信号多为时间连续的随机信号，可用随机过程来描述。实际信号：带限 随机序列8 8P P(Y/Y/X X)X XY Y (/)XP YXY离散信道：一系列条件转移概率构
5、成的信道矩阵连续信道：条件概率密度函数离散、单符号：随机变量离散、多符号：随机序列连续、单符号：随机变量连续、多符号：随机过程输入、输出符号输入符号输出符号信道转移特性2.2.信道的数学模型 （三大组成要素）9 9离散信道 输入/输出均离散连续信道 输入/输出均连续半连续信道 输入连续/输出离 散，或反之A.按输入、输出信号的特点分类单符号信道 用随机变量描述多符号信道 用随机序列描述B.按信道输入、输出随机变量个数的多少分类单用户信道 一对用户多用户信道 多个用户共享C.按输入、输出用户的个数分类3.3.信道的分类1010有干扰信道：实际信道无干扰信道：理想信道 例：计算机和外存间的信道D.
6、按信道中是否存在干扰或噪声分类无记忆信道：当前时刻输出仅与当前时刻的输入有关有记忆信道：当前时刻输出还与过去时刻的输入、输 出,将来时刻的输入、输出有关E.按信道是否存在记忆特性分类平稳信道：信道统计特性不随时间变化非平稳信道：信道统计特性随时间变化F.按信道统计特性是否随时间变化分类1111实际信道 实际信道：多为以上各种分类的组合:离散单符号信道 离散多符号无记忆信道 离散多符号有记忆信道 连续单符号(变量)信道 连续非平稳信道 连续有记忆信道1212第3 3章 信道容量 3.0 3.0 引言 3.1 3.1 信道的数学模型和分类 3.2 3.2 单符号离散信道的信道容量 （重点）1.1.
7、单符号信道的定义和数学模型 2.2.信道容量的定义及一般求取原则 3.3.几种特殊信道的信道容量 4.4.通过解方程组求信道容量 3.3 3.3 多符号离散信道 3.4 3.4 离散组合信道 3.5 3.5 连续信道 3.6 3.6 信道编码定理13133.3 3.3 单符号离散信道的信道容量 3.3.1 3.3.1 单符号信道的定义和数学模型 信道转移概率矩阵 3.3.2 3.3.2 信道容量的定义及一般求取原则 1.1.第二章内容相关内容的回忆 2.2.数据处理定理 3.3.3 3.3.3 几种特殊信道的信道容量 无噪 强对称 对称 准对称 3.3.4 3.3.4 通过解方程组求信道容量
8、适用于输入、输出消息数相等的信道；补充：利用定义进行求解14143.3.1 3.3.1 单符号信道的定义和数学模型单符号：信道输入、输出都只是单个符号，可以用单个的随机变量进行描述。信道转移（统计）特性：12,nXxxx 12,mYyyy 输入：输出：也可理解为：单符号信源+信道1 11515 112111222212,mmnnmnn mp yxp yxp yxp yxp yxp yxp yxp yxp yx 信道转移概率矩阵 简称：信道矩阵 1111?1?1?每一列的和不一定等于1 （只有强对称信道等特 殊情况下才等于1）每一行的和单符号信道的数学模型（续）1616pppp实际信道矩阵举例
9、实例1 1 二进制对称信道171700yyyxppxqq 正方波负方波实际信道矩阵举例实例2 二元删除信道18183.3 3.3 单符号离散信道的信道容量 3.3.1 3.3.1 单符号信道的定义和数学模型 信道转移概率矩阵 3.3.2 3.3.2 信道容量的定义及一般求取原则 1.1.第二章内容相关内容的回忆 2.2.数据处理定理 3.3.3 3.3.3 几种特殊信道的信道容量 无噪 强对称 对称 准对称 3.3.4 3.3.4 通过解方程组求信道容量 适用于输入、输出消息数相等的信道；补充：利用定义进行求解1919如果信源熵为 ，当然希望在信道输出端接收全部的信息量。()H X但由于干扰的
10、存在，信宿只能接收到 。(;)I X Y(;)()(/)I X YH XH X Y(;)()(/)I X YH YH YX(;)()()()I X YH XH YH XY(;)I X Y信道容量：在某一信道中，可能达到的最大值。()max(;)ip xCI X Y*输入信源的概率分布可调单位：比特/符号3.3.2 3.3.2 信道容量的定义及一般求取原则2020有时更关心：单位时间内信道的极限信息传输率。假设平均每个符号的传输时间需要 t 秒：tC Ct单位：比特/秒比特/符号秒/符号()1max(;)ip xI X Yt*极限信息传速率21211.选定信道，信道转移特性保持不变2.选择不同试
11、验信源3.寻找平均互信息量的最大值问题：如何测定某实际信道的信道容量？用实验方法测定信道容量的步骤信道容量的求取原则2222上述利用实验的测量方法很直观，但由于实际的信源有无穷多种可能的概率分布，这种测量方法肯定是不现实的。因此，我们必须采用数学计算的方法。问题：最大值如何计算？计算依据是什么？分析：当固定信道转移特性的条件下，平均互信息量是 信源概率分布的上凸函数。00.10.20.30.40.50.60.70.80.91-0.100.10.20.30.40.50.6pI(X;Y)上凸函数的特点函数的最大值或者在边界上，或者对应中间导数等于0的点，而该点是唯一的导数等于0的点。信道容量的求取
12、原则（续）2323信道容量的计算即为多元函数求极值的问题。(;)(),(/)1,.,1,.,ijiI X Yf p xp yxin jm 信源概率分布，向量输入输出的条件概率/信道传递概率分布，矩阵1.如果固定信道，调节信源，则有：(;)()iI X Yf p x 2.如果固定信源，调节信道，则有：(;)(/)jiI X Yf p yx 凸函数性2424(2)凸函数性质的具体内容当信道固定时，是关于 的上凸函数(;)I X Y()ip x12()(1)()iiIp xpx12()(1)()iiI p xI px当信源固定时，是关于 的下凸函数(;)I X Y(/)jip yx12(/)(1)(
13、/)jijiI p y xp y x 12(/)(1)(/)jijiI p yxI p yx 凸函数性(续)2525该性质是研究信道容量的理论基础该性质是研究率失真函数的理论基础由于信源概率分布必须满足归一化条件。因此，对平均互信息量的最大值的计算就转化为在归一化条件下，计算信源概率分布的条件极值问题。因此，最一般的方法就是采用拉格朗日乘数法。注意：信道容量是信道本身特性的参量。尽管这个最大值的计算过程涉及到最佳信源的寻找问题，但一旦找到这样一个最大值以后，这个值就与信源无关了。对比：电阻器的阻值 物体的密度 信道容量的求取原则（续）2626数据处理定理1.平均联合互信息量 平均条件互信息量平
14、均联合互信息量：联合随机变量 发生后所间接提 供的关于 的信息量。YZX(;)I X YZ 111(/)()log()nmlijkijkijkip xy zp x y zp x 随机事件对 发生后所间接提供的关于 的信息量。jky zix联合互信息量：(;)ijkI xy z(/)log()ijkip xy zp x2727条件互信息量：在随机事件 已经发生的条件下，随机事件 发生后，所间接提供的关于随机事件 的信息量。kzixjy在随机变量 已发生的前提下，随机变量 发生后，所间接提供的关于随机变量 的信息量。YXZ平均条件互信息量：(;/)I X YZ 111(/)()log(/)nmli
15、jkijkijkikp xy zp x y zp xz(;/)ijkI xyz(/)log(/)ijkikp xy zp xz2828数据处理定理的内容对于串联信道,例:微波接力通信(地球曲率、功率限制)。数据处理定理：I X ZI X Y(;)(;)I X ZI Y Z(;)(;)证：首先对 进行变形 (;)I X YZ111111()lo()log(g)(/)nmlijkiijknmlijkijkijkp x y zpp x y zp xxy z 111(/)(;)()log()nmlijkijkijkip xy zI X YZp x y zp x29291(;)log()(/()niii
16、I X YZppXxYZxH ()(/)H XH X YZ 式(a)接下来对 进行变形：(;/)I X YZ111111log(/()log(/()iknmlijkijknmlijkijkijkp x y zp xp xyyzzp xz 111(log(/(/)mjnlkijkkiip xH X YZy zp xz 11log(/(/)nlikkikip xzH X YZp x z 111(/)(;/)()log(/)nmlijkijkijkikp xy zI X YZp x y zp xz30301(;)log()(/()niiiI X YZppXxYZxH ()(/)H XH X YZ 式
17、(a)接下来对 进行变形：(;/)I X YZ111111log(/()log(/()iknmlijkijknmlijkijkijkp x y zp xp xyyzzp xz 111()log(/)(/)nlmijkikjikpH Xp x y zxYZz (/)(/)HZX ZXHY式(b)用式(b)减去式(a),得：111(/)(;/)()log(/)nmlijkijkijkikp xy zI X YZp x y zp xz(;)(;/)()()(;)I X YZI X Y ZH XH X ZI X Z式(c)3131(;)(;)(;/)I X ZI X YZI X YZ(;)(;)(;/
18、)I X YI X YZI X Z Y式(c)式(d)同理可得：物理意义：联合随机变量 发生后，提供的关于 的平 均互信息量，等于从 中获得的平均互信 息量，与在 已知的条件下从 中获 得的平均条件互信息量，二者的和。YZX()Y Z()Y Z()Z Y3232(;)(;)(;/)I X ZI X YZI X YZ(;)(;)(;/)I X YI X YZI X Z Y接下来对串联信道做如下假设：已知 的条件下，与 无关。YZX(;/)0I X Z Y 将上式代入式(c)，有：(;)(;/(;)I X YI XI XZZZY()(/;)IZIXYYX0(;)(;)I X ZI X Y同理可证(
19、;)(;)I X ZI Y Z 式(c)式(d)(;)(;)I X YI X YZ 根据式(d)，有：同理可得：3333I X ZI X Y(;)(;)I X ZI Y Z(;)(;)物理意义：每经过一级信道，或每进行一次数据处理，平均互信息量趋于变小（尽管消息的形式可能更加有用）。日常生活中的例子：人的传话系统在90年代，萨达姆有大杀伤性武器。90%的人相信萨达姆有大杀伤性武器。萨达姆有90种大杀伤性武器。萨达姆有大杀伤性武器。信息不增原理3434利用多次测量获取更多平均互信息量单次测量多次测量类比：在做物理实验时，采用多次测量取平均的方 法消除大部分随机误差的影响。1(;)I X Y 单次
20、测量：1()()H XH X Y 多次测量：12(;)NI X YYY12()()NH XH X YYY只需证明：121()()NH X YYYH X Y3535121()()NH X YYYH X Y证明：证：为简化起见，只证明 。121()()H X YYH X Y 1212121212111()()()log()nmmjjijjijjijjH X YYp y yp xy yp xy y 1()H X Y 12121212111log)()mmjjijjjjijnijp y yp xy yp xy y 对i i 的求和 放到内层1212121111(og)(lmmnjjijjjjiijp
21、y yp xyypyx 香农不等式1212211111()(o)l g()mmijjjjjjjniip xy yp yp xyy 对i i 的求和 放到外层11111log()()nmijijijp xyp x y 3636例：信源 的输出为X11(0),(1),44P XP X1(2)2P X。设计两个独立实验去观察它，其结果分别为 ，已知条件概率：120,1,0,1YY(1)求 和 。1(;)I X Y2(;)I X Y(2)求 ,并与(1)的结果进行比较。12(;)I X YY1(),()p xp yx 1()p xy1()p y121212(;)()()I X YYH YYH YYX解
22、:求解思路111(;)()()I X YH YH YX需求 。11(),()p yp xy 需求121212(),(),()p y yp xy yp y yx1212()()()p y yxp yxp yx实验独立：()p x12()p xy y12()p y y2(;)I X Y的求解类似。37373838解：(1)利用 和 ，得：()()()jjp xyp xp yx()()jijip yp x y 11111()loglog12222H Y 比特/符号21133()loglog0.814444H Y 比特/符号11111()log1log1log4442H YX 比特/符号111log4
23、222111()log1log1log10442H YX 111(;)()()I X YH YH YX12 比特/符号222(;)()()I X YH YH YX0.81 比特/符号3939,得：(2)利用 ,1212()()()p y yxp yxp yx1212()()()p xy yp xp y yx1212()()iip y yp x y y 11log22 1211()log44H YY 11log44 1.5 比特/符号121()log14H YYX 111log12log4420.5 比特/符号12(;)1I X YY 比特/符号121122()()()()I X YYI X Y
24、I X YYI X Y确实有：40403.3.2 2 单符号离散信道的信道容量 3.3.2 2.1.1 单符号信道的定义和数学模型 3.3.2 2.2.2 信道容量的定义及一般求取原则 3.3.2 2.3.3 几种特殊信道的信道容量 1.1.离散无噪信道的信道容量 2.2.强对称离散信道的信道容量 3.3.对称离散信道的信道容量 4.4.准对称离散信道的信道容量 3.3.2 2.4.4 通过解方程组求信道容量 适用于输入、输出消息数相等的信道；补充：利用定义进行求解41413.3.2 2.3 .3 几种特殊信道的信道容量 特殊信道：信道转移概率满足特定规律的信道 1.1.离散无噪信道的信道容量
25、 2.2.强对称离散信道的信道容量 3.3.对称离散信道的信道容量 4.4.准对称离散信道的信道容量4242离散无噪信道的信道容量 三种子类型：1.具有一一对应关系的无噪信道（）2.具有扩展性能的无噪信道（）3.具有归并性能的无噪信道（）nm nm nm 4343特点：每条输入消息对应唯一的一条输出消息；或反之。1.1.具有一一对应关系的无噪信道（）nm 4444100001000010000100010010010010001000001001000001特点:(1)每一行只有1个1，其余为0(2)每一列只有1个1，其余为0一一对应信道矩阵的特点4545分析：对于一一对应信道，；最佳输入分布
26、对应？?C 根据前面的分析，信道容量的一般求取原则是求平均互信息量关于输入信源分布在归一化条件下的条件极值，但对于特殊信道，则没必要这么繁琐。(;)()(/)I X YH XH X Y(;)()(/)I X YH YH YX(;)()()()I X YH XH YH XY平均互信息量的三种计算方法(/)?H X Y 问题：(/)0H X Y 回答：()max(;)ip xCI X Y()max()ip xH X logCn 最佳输入：1()ip xn*4646问题：在一一对应信道中，与 之间的关系？()H X()H Y()H Y()()H XH Y 回答：(;)()(/)I X YH YH Y
27、X(;)()(/)()I X YH XH X YH X47472.2.具有扩展性能的无噪信道（）nm 输出是对输入的扩展。一条输入消息可能对应多条输出消息。但一条输出消息只对应一条输入消息。特点：48481121314252627383(/)(/)(/)00000000(/)(/)(/)00000000(/)(/)p yxp yxp yxp yxp yxp yxp yxp yx行：可能有多个非零元素。列：只有1个非零元素。分析：；最佳输入分布对应？?C 特点：当 已知时，跟着确定。YX(/)0H X Y ()max()(/)ip xCH XH X Y ()max()ip xH X logCn
28、最佳输入：1()ip xn*扩展性能信道矩阵的特点4949问题：在扩展无噪信道中，与 之间的关系？()H X()H Y()H Y()()H XH Y 回答：(;)()(/)I X YH YH YX(;)()(/)()I X YH XH X YH X5050输出是对输入的归并。一条输出消息可能对应多条输入消息。但一条输入消息只对应一条输出消息。特点：3.3.具有归并性能的无噪信道（）nm 5151100100010010001元素：非0即1。行：只有1个1。列：可能不止1个1。分析：；最佳输入分布对应？?C 特点：当 已知时，跟着确定。XY(/)0H Y X ()max()(/)ip xCH Y
29、H Y X ()max()ip xH Y logCm 最佳输入：1()jp ym*使 的()ip x归并性能信道矩阵的特点5252123123451 0 01 0 00 1 00 1 00 0 1y yyxxxxx 11223435()()1()1 1 3()()1()1 1 3()()1 1 3p yp xp xp yp xp xp yp x 解如下方程组：问题：在归并无噪信道中，与 之间的关系？()H X()H Y()()H YH X ()H Y 回答：(;)()(/)I X YH YH YX(;)()(/)I X YH XH X Y()H X 最佳输入概率分布并不是唯一的53531010
30、0000110000010P 2100100100010001001P 30.10.20.70000000000.40.60000000000.10.20.30.4P(1)(1)(2)(2)(3)(3)练习：试求以下信道的信道容量及最佳输入分布5454解：(1)(1)1P 从信道转移图可看出，是一一对应信道，所以：信道转移图1234123400 00 0 0 0 0 00 01011 1 y yy yxxxx log42C 比特/符号 最佳输入分布：等概率分布 55552P 解：(2)(2)从信道转移图可看出，是归并信道，所以：信道转移图1231234561 00000000011111000
31、yyyxxxxxx log31.585C 比特/符号 最佳输入分布：？56562P 112324356()()1()1()1 1 3()()1 1 3()()1()1 1 3p yp xp xp xp yp xp yp xp x 解如下方程组：最佳输入概率分布并不是唯一的1231234561 00000000011111000yyyxxxxxx 5757解：(3 3)3P 123456789123 0000000 0.10.20.70.4000000000.60.1000.20.30.40yyyyyyyyyxxx 从信道转移图可看出，是扩展信道，所以：信道转移图log31.585C 比特/符号
32、 最佳输入分布：等概率分布 5858一一对应信道无噪无损信道信道类型特点输入确定输出确定输出确定输入确定(/)0,(/)0H YXH X Y结论logCn 最佳输入：输入等概扩展信道无损信道(/)0H X Y 最佳输入：输入等概归并信道无噪信道最佳输入：使输出等概的输入输出确定输入确定 反过来不行logCn 输入确定输出确定反过来不行logCm(/)0H YX 技巧：输入与输出谁的消息数少，就取谁的对数。前提：必须是以上三种信道之一。nm nm nm 59593.3.2 2.3 .3 几种特殊信道的信道容量 特殊信道：信道转移概率满足特定规律的信道 1.1.离散无噪信道的信道容量 2.2.强对
33、称离散信道的信道容量 3.3.对称离散信道的信道容量 4.4.准对称离散信道的信道容量6060a.输入、输出消息数相等（个）b.每个输入符号正确传递概率 总错误传递概率 其它符号错误传递概率p1pp1pn n1.1.强对称离散信道的定义61612.2.信道矩阵特点a.对角线元素都为b.其余元素都为c.每行之和等于1（正常）每列之和也等于1（特殊）d.矩阵为对称阵p1pn.11.11.11pppnnpppnnpppnn6262(;)()(/)I X YH YH YX(;)()()()I X YH XH YH XY(;)()(/)I X YH XH X Y问题：三种形式中，应用哪种进行推导比较方便
34、？回答：第二种，因为 是已知的。(/)jip yx首先，推导强对称条件下 的计算公式。(/)H YX11(/)()log(/)nnijjiijH YXp x yp yx 3.3.信道容量计算公式的推导及最佳信源分布636311(/)()(/)log(/)nnijijiijH YXp xp yxp yx 11()(/)log(/)nnijijiijp xp yxp yx 对信道矩阵的每一行，是个常量。1()()niip xH 行行矢矢量量()H 行行矢矢量量将上式代回平均互信息量的第二种表示式：(;)()(/)I X YH YH YX()()H YH行行矢矢量量6464()()max(;)max
35、()()iip xp xCI X YH YH行行矢矢量量对强对称信道，信道容量的计算转化为求最大信宿熵。显然，当输出信号等概率分布时，最大。但必须保证存在某种信源分布恰好使输出等概率分布。()H Y.11.11.11pppnnpppnnpppnn分析：是否存在某种信源分布，满足上述条件？222()()1()1pp yp xpp xn()()1()1nnnpp yp xpp xn.111()()1()1pp yp xpp xn 6565观察上述方程组发现，当输入为等概率分布时，输出也一定为等概率分布，所以：()()max(;)max()()iip xp xCI X YH YH行行矢矢量量logl
36、oglog1pnpppn*最佳信源分布：等概。loglog(1)log11ppnppnnn 要求:能推导信道容量的计算公式,并分析最佳输入分布。66664.4.二进制对称信道(特例)代入 ,得：2n 1loglogCpppp一般：pppp6767当 时：0p 1001log2C 1 比特/符号当 时：1p 0110log2C 1 比特/符号(/)0.5jip yx 12()()0.5()0.50.5jp yp xp x、X Y独立当 时：0.5p 0.50.50.50.5无用信道强噪声信道0C (;)()I X YH Y()0H Y X 、独立YX6868例3.2.1 设有扰离散信道的输入端是
37、A A,B B,C C,D D 4个字母。该信道的正确传输概率为1/2，错误传输概率平均分布在其它三个字母上。求信道容量及最佳输入分布。1/6 1/6 1/61/61/6 1/61/6 11/2/61/61/6 1/6 1/1/21/26 1/2ABCDABCD 1111log4log3log 2266 0.208比特/符号最佳输入分布：1()()()()4P AP BP CP D信道为强对称信道。log()CnH行行矢矢量量6969例3.2.2 有一个二元对称信道，其信道矩阵该信道能以1500二元符号/秒的速度传输符号。现有一消息序列共有14000个二元符号，并设P P(0)=(0)=P P
38、(1)=1/2(1)=1/2，问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传递完？0.980.020.020.98思路：7070计算步骤：(1)计算信源的单符号熵(2)计算信源符号序列含有的信息量(3)计算信道传输能力（信道容量 单位：比特/符号）(5)判断是否符合要求？（计算10秒可传递的信息量）(4)计算信道传输能力（信道容量 单位：比特/秒）思路：7171(4)比特/符号 符号/秒 比特/秒0.8586 1500tC 31.288 10比特/秒(5)计算10秒钟可传递的信息量4101.288 10tIC比特4 1.4 10比特结论：不能实现无失真传输。()H X (1)l
39、og2 1比特/符号(2)1(.)NH XX符号14000 1 比特/符号14000 比特(3)C log()nH 行行矢矢量量1 0.98log0.980.02log0.02 0.8586 比特/符号72723.3.2 2.3 .3 几种特殊信道的信道容量 特殊信道：信道转移概率满足特定规律的信道 1.1.离散无噪信道的信道容量 2.2.强对称离散信道的信道容量 3.3.对称离散信道的信道容量 4.4.准对称离散信道的信道容量7373一个矩阵的每一行都是同一集合中各元素(注：重复元素分别计)的不同排列。12,.,mQ q qq行可排列：例：矩阵中的某行为 0.3 0.3 0.3 0.10.3
40、 0.3 0.3 0.1Q 0.3 0.1Q 1.1.对称信道的定义7474矩阵可排列：矩阵的行和列都是可排列的。一个矩阵的每一行都是同一集合中各元素(注：重复元素分别计)的不同排列。12,.,mQ q qq行可排列：一个矩阵的每一列都是同一集合中各元素的不同排列。12,.,nP p pp列可排列：对称信道的定义信道矩阵具有可排列性的信道。1.1.对称信道的定义75752111236111623111362P 11111336611116633P 31111336611116363P 40.70.20.10.20.10.7P 练习：判断下列矩阵表示的信道是否对称信道?7676应用平均互信息量的
41、第二种形式：(;)()(/)I X YH YH YX推导对称信道条件下 的计算公式：(/)H YX(/)H YX11()log(/)nmijjiijp x yp yx 11()(/)log(/)nmijijiijp xp yxp yx 11()(/)log(/)nmijijiijp xp yxp yx 1()()niip xH 行行矢矢量量()H 行行矢矢量量2 2.信道容量公式的推导及最佳输入分布7777将上式代回平均互信息量的第二种形式：()()max(;)max()()iip xp xCI X YH YH行行矢矢量量()max()()ip xH YH行行矢矢量量分析：是否存在某种信源分布
42、，使输出符号等概？112111222212(/)(/).(/)(/)(/).(/).(/)(/).(/)mnnnmnp yxp yxp yxp yxp yxp yxp yxp yxp yx1122()()(/)()(/).()(/)jjjnjnp yp xp yxp xp yxp xp yx如果1()ip xn 11()(/)njjiip yp yxn 由于列可排列，每列元素的和为常量。()jp y为常量7878log()CmH行行矢矢量量对于对称信道：(与强对称信道比较)最佳输入：1()ip xn*练习：求如下信道的信道容量及最佳输入分布。1111336611116633解：C log40.
43、0817 比特/符号1111 2log2log 3366 最佳输入分布：121()()2p xp x该信道为对称信道。行可排列列可排列要求:能推导信道容量的计算公式,并分析最佳输入分布。79793.3.2 2.3 .3 几种特殊信道的信道容量 特殊信道：信道转移概率满足特定规律的信道 1.1.离散无噪信道的信道容量 2.2.强对称离散信道的信道容量 3.3.对称离散信道的信道容量 4.4.准对称离散信道的信道容量8080定义：一个 行 列离散信道矩阵 的行可排列，但列不可排列。但是矩阵中的 列可分成 个不相交的子集，各子集分别有 列。每个子集对应的子矩阵 具有可排列性。nmms12,.,sm
44、mm PkP11112488 11114288P 111241142P 211881188P 行可排列列不可排列 行可排列 列可排列4.4.准对称离散信道的信道容量81810.70.10.2 0.20.10.7P 行可排列列不可排列10.70.20.20.7P 20.10.1P 行可排列 列可排列1/31/31/61/6 1/61/31/61/3P 行可排列列不可排列111361163P 21313P 31616P 8282 对于准对称信道，达到信道容量的最佳输入分布是等概率分布，其信道容量为：111loglog(,.,)skkmkCnNMH q qq 其中：n n 是输入符号集的个数kN是第
45、k k个子矩阵的列元素之和(常数)为整个信道矩阵中的行元素(常数)是第k k个子矩阵中的行元素之和(常数)12,.,mq qqkMs s 是子矩阵的个数*定理：8383证明思路：1.证明等概率分布是最佳输入分布。2.在1的基础上，再证明计算公式的正确性。对于准对称信道，达到信道容量的最佳输入分布是等概率分布，其信道容量为：111loglog(,.,)skkmkCnNMH q qq 定理证明8484详细证明见后附补充内容综合前面的几项结果：11(/)(,.,)mH YXH q qq()H Y的前一部分logn()H Y的后一部分1logskkkNM 最终可得：111loglog(,().,)(/
46、)skkmkCHnNMH qqH YXqY 注意：与教材P P8080公式只是形式上不同。8585111pqpPppq 2qPq 可分解为：11pqqpPpqpq C 套用计算公式：(1,)Hpq p qlog2(1)log(1)qqlog2 qq 121()()2p xp x行列均可排列111loglog(,.,)skkmkCnNMH q qq n n：信道矩阵行数NNk k：子集k k行元素的和MMk k：子集k k列元素的和HH：整个信道矩阵行熵s s：子矩阵的个数最佳输入分布：例:求如下信道矩阵的信道容量及最佳输入分布86861/31/31/61/61/61/31/61/31loglo
47、g()skkkCnNMH 行行矢矢量量log2 11(log22 12log33 11log)63 1111(2log2log)3366 0.041 比特/符号最佳输入分布：准对称信道11/31/61/61/3P 31 61 6P 21 31 3P 行可排列列可排列121()()2p xp x练习：求如下信道的信道容量及最佳输入分布87873.3.2 2 单符号离散信道的信道容量 3.3.2 2.1.1 单符号信道的定义和数学模型 3.3.2 2.2.2 信道容量的定义及一般求取原则 3.3.2 2.3.3 几种特殊信道的信道容量 3.3.2 2.4.4 通过解方程组求信道容量 适用于输入、输
48、出消息数相等的信道；88883.3.2 2.4 .4 通过解方程组求信道容量 1.1.计算思路 第二章内容的回顾 2.2.计算过程推导 得出具体计算公式 3.3.计算步骤总结 抽取2 2中的主要步骤 另：分析为什么只适用于输入、输出消息数相等的信道 4.4.举例和练习 公式如何应用 5.5.补充内容 直接利用信道容量的数学定义进行求解8989 对一般离散信道求信道容量，就是在固定信道条件下，对所有可能的输入概率分布p p(x xi i)，求平均互信息量的极大值。因为I I(X X;Y Y)是n n个变量 p p(x x1 1),),p p(x x2 2),),p p(x xn n)的多元函数，
49、并满足 ，所以应用拉格朗日乘数法计算这个条件极值。1()1niip x 由于I I(X X;Y Y)是输入概率分布p p(x xi i)的上凸函数，只要存在着关于p p(x xi i)偏导数等于零的点，则该点一定对应最大值。1.1.计算思路90902.2.用拉格朗日乘数法求信道容量(计算过程推导)其中 为拉格朗日乘子(待定系数)，解方程组：1(;)()1niiI X Yp x 引进一个辅助函数1(;)()10()()niiiiI X Yp xp xp x 可得一般信道容量C C。1,.,in 9191在第二章中学习过，平均互信息量有三种表示形式：(;)()(/)I X YH YH YX(;)(
50、)()()I X YH XH YH XY(;)()(/)I X YH XH X Y在具体的应用中，具体选用哪种，根据实际情况而定!在下面的推导中，我们选用上面的第二种形式，因为在求信道容量时，由于信道是固定的，所以 是固定的。因而，在求取对 的导数时比较简便。(/)jip yx()ip x分析：推导过程请同时参见教材P P8181。92921111()log()()(/)log(/)()10()mnmnjjijijiijijiip yp yp xp yxp yxp xp x 将I I(X X;Y Y)的第二种表达式代入辅助函数 ，并求导得：1()()(/)njijiip yp xp yx ()
