《信息论与编码》课件第3章 信道与信道容量.ppt

1、目 录u3.1信道分类u3.2 单符号离散信道及其容量 3.2.1 数学模型 3.2.2信道容量 3.2.3 离散信道容量的迭代算法u3.3 离散序列信道及其容量 u3.4 信源与信道的匹配u3.5 连续信道及其容量 3.5.1 连续单符号加性信道 3.5.2 多维无记忆加性连续信道 3.5.3 加性高斯白噪声波形信道v信道就是信息传输的通道，是通信系统的重信道就是信息传输的通道，是通信系统的重要组成部分，是传输信息的载体，其主要任要组成部分，是传输信息的载体，其主要任务是传输或者存储信息。务是传输或者存储信息。v通信的本质就是通过信道传输信息，实现不通信的本质就是通过信道传输信息，实现不同同

2、地点之间或者不同时间地点之间或者不同时间的信息交流。的信息交流。v信道是信息论的主要研究对象之一，其主要信道是信息论的主要研究对象之一，其主要研究内容是在理论上能够传输或者存储的最研究内容是在理论上能够传输或者存储的最大信息量，即大信息量，即信道容量信道容量。3.1信道分类信道分类 信道信道特点特点输入、输出信号之间不再具有明确的函数关系，而是具输入、输出信号之间不再具有明确的函数关系，而是具有统计依赖关系有统计依赖关系通过研究信道输入输出信号以及相互之间的通过研究信道输入输出信号以及相互之间的依依赖关系赖关系来研究信道来研究信道信道是指信息传输的通道信道是指信息传输的通道实际通信系统中使用各

3、种各样的实际通信系统中使用各种各样的物理通道，物理通道，各种存储媒质各种存储媒质有线的各种线路，无线的电波传输空间根据研究需要，可以选择通信系统中不同的信道输入根据研究需要，可以选择通信系统中不同的信道输入输出点，甚至可以将其中部分子系统进行简化处理。输出点，甚至可以将其中部分子系统进行简化处理。物理信道的不同，信号传输过程中引入的噪声或者干扰类物理信道的不同，信号传输过程中引入的噪声或者干扰类型也不尽相同，所以统计特性的研究是通信理论的主要内型也不尽相同，所以统计特性的研究是通信理论的主要内容之一容之一统计特性不是信息论的研究内容，一般认为已经统计特性不是信息论的研究内容，一般认为已经知道知

4、道信道信道的的传输特性传输特性，在此基础上，在此基础上研究信息传输研究信息传输问题问题不研究信号在信道中的具体传输过程不研究信号在信道中的具体传输过程假设信道的传输特性是已知的假设信道的传输特性是已知的研研究究方方法法根据不同的研究需要，将噪声或者干扰对信号传输的根据不同的研究需要，将噪声或者干扰对信号传输的影响映射为对应形式的统计特性影响映射为对应形式的统计特性信道分类信道分类统统计计特特性性恒参信道恒参信道随参信道随参信道信道的统计特性不随时间而变化。信道的统计特性不随时间而变化。如卫星信道一般视为恒参信道如卫星信道一般视为恒参信道信道的统计特性信道的统计特性随时间而变化随时间而变化大多数

5、的信道都是随参信道，大多数的信道都是随参信道，统计特性随着环境、温度、湿统计特性随着环境、温度、湿度等参数而变化。如短波信道、度等参数而变化。如短波信道、微波信道等。微波信道等。用用户户量量单用户信道单用户信道多用户信道多用户信道也称两端信道，该信道只有一也称两端信道，该信道只有一个输入端和一个输出端，而且个输入端和一个输出端，而且只能进行单方向的通信只能进行单方向的通信也称多端信道，输入端或者也称多端信道，输入端或者输出端至少有一端具有两个输出端至少有一端具有两个或者两个以上用户，并且可或者两个以上用户，并且可以实现双向通信以实现双向通信输入、输出的取值特性输入、输出的取值特性离散信道离散信

6、道连续信道连续信道半离散半半离散半连续信道连续信道也称为数字信道，该类信道中输入空间、输出也称为数字信道，该类信道中输入空间、输出空间均为空间均为离散事件离散事件集合，集合中事件数量是有集合，集合中事件数量是有限的，或者有限可数的，随机变量取值都是限的，或者有限可数的，随机变量取值都是离离散的散的也称为模拟信道，输入空间、输出空间均为也称为模拟信道，输入空间、输出空间均为连续连续事事件集合，集合中事件的件集合，集合中事件的数量是无限的数量是无限的、不可数的、不可数的输入空间、输出空间一个为离散事件集合，而输入空间、输出空间一个为离散事件集合，而另一个则为另一个则为连续事件连续事件集合，即输入、

7、输出随机集合，即输入、输出随机变量一个是离散的，另一个变量一个是离散的，另一个是连续的是连续的波形信道波形信道也称为时间连续信道，信道输入、输也称为时间连续信道，信道输入、输出都是时间的函数，而且随机变量的出都是时间的函数，而且随机变量的取值都取自连续集合，且在取值都取自连续集合，且在时间上的时间上的取值是连续的取值是连续的噪声的统计特性噪声的统计特性随机随机差错差错信道信道突发突发差错差错信道信道信道中传输码元所遭受的噪信道中传输码元所遭受的噪声是声是随机的随机的、独立的独立的，这种，这种噪声相互之间不关联，码元噪声相互之间不关联，码元错误不会成串出现错误不会成串出现信道中噪声或者干扰对信道

8、中噪声或者干扰对传输码元的影响具有传输码元的影响具有关关联性，相互之间不独立联性，相互之间不独立，从而使得码元错误往往从而使得码元错误往往成串出现，成串出现，常有的如衰落信常有的如衰落信道、码间干扰信道。道、码间干扰信道。在实际中这种信在实际中这种信道经常出现，如移道经常出现，如移动通信的信道、光动通信的信道、光盘存储器等盘存储器等最具有代最具有代表性的是表性的是高斯白噪高斯白噪声信道声信道3.2单符号离散信道及其容量单符号离散信道及其容量3.2.1 数学模型数学模型单符号单符号信道信道单维信道单维信道信道的输入符号之间、输出符信道的输入符号之间、输出符号之间都不存在关联性，即无号之间都不存在

9、关联性，即无记忆的，信道的分析可以简化记忆的，信道的分析可以简化为对单个符号的信道分析为对单个符号的信道分析如果信道的输入、输出随机变量都是如果信道的输入、输出随机变量都是离散的，则该信道为离散的，则该信道为单符号离散无单符号离散无记忆信道记忆信道。输入符号、输出符输入符号、输出符号不存在关联性，号不存在关联性，并不表示输出符号并不表示输出符号与输入符号之间不与输入符号之间不存在存在关联性关联性(|)(|)jijip y b x apb a信道的特性可以信道的特性可以使用条件转移概率使用条件转移概率进行描述进行描述;表示在输入为表示在输入为ai时，通过时，通过信道后接收为信道后接收为bj的概率

10、，的概率，描述了信道噪声的特性。描述了信道噪声的特性。矩阵形矩阵形式式112111222212(|)(|)(|)(|)(|)(|)(|)(|)(|)(|)ssrrsrp b ap bap bap b ap bap baP Y Xp b ap bap ba条件转移矩条件转移矩阵或者信道阵或者信道转移矩阵转移矩阵r*s()()(|)ijijip a bp ap bap(bj|ai)通常称为通常称为前向概率前向概率()()(|)ijjijp abp b p a bp(bj|ai):后向概率后向概率表示当接收符号为表示当接收符号为bj时，时，信道输入为信道输入为ai的概率，所的概率，所以也称为后验概率

11、以也称为后验概率1()()(|)(|)()()(|)ijijiijrjijiip abp a p b ap a bp bp a p b a贝叶斯公式贝叶斯公式后验概率后验概率都是十分都是十分重要的，可以通过重要的，可以通过前向概率和先验概前向概率和先验概率率计算出计算出1122|()()()()()()TYXsrpbpapbpapbpaP3.2.2信道容量信道容量 单符号单符号离散信离散信道道平均每个符号传送的信息量平均每个符号传送的信息量定义为信道的信息传输率定义为信道的信息传输率R由于信道中存在干由于信道中存在干扰，输入符号经过扰，输入符号经过信道可能会出现错信道可能会出现错误，信道输出端

12、接误，信道输出端接收的符号与输入符收的符号与输入符号之间并不是一一号之间并不是一一对应对应信道输入平均信息量信道输入平均信息量H(X)并不等并不等于于信道输出端信息量信道输出端信息量H(Y)信道的信道的信息传信息传输率输率R(;)()(|)RI X YH XH X Y含义：能够正确含义：能够正确传输的信息量传输的信息量()max(;)p xCI X Y()0ip xa 1()1riip av对于给定信道，前向概率p(y|x)是一定的，所以信道容量就是在信道前向概率一定的情况下，寻找某种先验概率分布，从而使得平均互信息量最大，这种先验分布概率称为最佳分布。定义定义3.1 设某信道的平均互信息量为

13、I(X;Y)，信道输入符号的先验概率为p(x)，该信道的信道容量C定义为 条件极条件极值问题值问题约束约束条件条件先验概率分布先验概率分布已知条件已知条件前向概率前向概率p(y|x)变化变化输入分布输入分布p(x)极值极值I(X;Y)最大值最大值使得使得I(X;Y)最大，最大，这种先验分布概这种先验分布概率称为率称为最佳分布最佳分布几点结论：几点结论：1对于给定信道最佳分布总是对于给定信道最佳分布总是存在存在的的如果信道输入满足最佳分布，信息如果信道输入满足最佳分布，信息传输率最大，即达到信息容量传输率最大，即达到信息容量C2信道输入的先验分布信道输入的先验分布不是不是最佳分布，那么信息传输率不最佳分布，那么信息传输率不能够达到信息容量能够达到信息容量3信息量信息量R必须小于信道容量必须小于信道容量C，否则传输过程中会造成信，否则传输过程中会造成信息损失，出现错误；息损失，出现错误；如果如果RC时，时，不存在一种信道编码使得以传输信息不存在一种信道编码使得以传输信息而错误概率为任意小而错误概率为任意小