1、第第4章章 信道及信道容量信道及信道容量主要学习内容主要学习内容l一、信道的概念与分类一、信道的概念与分类l二、离散单符号信道与信道容量的概念二、离散单符号信道与信道容量的概念l三、几种特殊信道及其信道容量的求法三、几种特殊信道及其信道容量的求法l四、一般离散信道的信道容量求法四、一般离散信道的信道容量求法l五、信道容量定理及其应用五、信道容量定理及其应用l六、离散多符号信道的概念及其信道容量六、离散多符号信道的概念及其信道容量l七、组合信道的概念及其信道容量七、组合信道的概念及其信道容量1、离散单符号信道的含义、离散单符号信道的含义l定义定义：信道的输入、输出都取值于离散符号集，：信道的输入
2、、输出都取值于离散符号集，且都用一个随机变量来表示的信道就是离散单且都用一个随机变量来表示的信道就是离散单符号信道。符号信道。l地位地位：它是最简单的信道，也是实际信道的基：它是最简单的信道，也是实际信道的基本组成单元。本组成单元。l含义含义：每次传输一个符号作为一个消息。：每次传输一个符号作为一个消息。图形表示图形表示,21rxxxX,21syyyY2、离散单符号信道的数学模型、离散单符号信道的数学模型l实质上就是在输入随机变量（符号集）实质上就是在输入随机变量（符号集）X 的的条件下输出随机变量条件下输出随机变量（符号集）（符号集）Y 的条件概的条件概率分布。率分布。输入随机变量（符号集）
3、输入随机变量（符号集）X 的概率空间的概率空间1231231()()()()()0()1,()1rrriiiXxXxXxXxXp xp xp xp xP Xp xp x信道的数学模型（条件概率分布）信道的数学模型（条件概率分布）l信道矩阵信道矩阵（传递概率矩阵传递概率矩阵）(/)(/),1,2,;1,2,jirjip yxP YyXxirjs简单表示简单表示l简单表示为：简单表示为：10,1,1,2,;1,2,sijijjppirjsrsrrsspppppppppP212222111211输出随机变量输出随机变量（符号集）（符号集）Y 的概率空间的概率空间1231231()()()()()0(
4、)1,()1sssiiiYyYyYyYyYp yp yp yp yP Yp yp y三者的关系三者的关系1121112222121212(/)(/)(/)(/)(/)(/)()()()(/)(/)(/)()()()ssrrrsrsp yxp yxp yxp yxp yxp yxp xp xp xp yxp yxp yxp yp yp y/XY XYPPP简记成：二元对称信道二元对称信道BSC(Binary Symmetric Channel)l传递概率图传递概率图为：为：信道矩阵信道矩阵为：为：p为错误概率为错误概率ppppP(0/0)(1/1)1(1/0)(0/1)ppppppp相关名词相关
5、名词l前向概率前向概率：p(yj/xi)l后向概率后向概率:p(xi/yj)l输入符号的先验概率输入符号的先验概率:p(xi)l输入符号的后验概率输入符号的后验概率:p(xi/yj)概率知识回顾概率知识回顾)/()()(ijijixypxpyxpl条件概率公式条件概率公式()(/)()ijjiip x yp yxp x全概率公式全概率公式11()()()(/)rjijirijiip yp x yp xp yx贝叶斯公式贝叶斯公式1()(/)()()(/)()(/)ijijjijisijijp x yp xyp yp xp yxp xp yx3、平均互信息平均互信息 I(X;Y)的含义的含义在统
6、计平均的意义上，由在统计平均的意义上，由 Y 中的一个符号，能得到中的一个符号，能得到 X 中中一个符号的信息量。一个符号的信息量。211(/)(;)()log()()(/)()(/)()()()nmjiijijjp yxI X Yp x yp yH YH YXH XH X YH XH YH XY 在信道中的含义（在信道中的含义（信息传输率信息传输率）l当当 X 为信源、为信源、Y 表示信宿时表示信宿时，I(X;Y)表示在平均的表示在平均的意义上信源每发出一个符号流经信道到达信宿时，由意义上信源每发出一个符号流经信道到达信宿时，由信宿的每个符号所能得到的关于信源每个符号的信息信宿的每个符号所能
7、得到的关于信源每个符号的信息量，亦即信源每发出一个符号流经信道的信息量。称量，亦即信源每发出一个符号流经信道的信息量。称为：为：信息传输率，信息传输率，单位是：单位是：比特比特/符号。符号。l若信道平均每传输一个符号用若信道平均每传输一个符号用 t 秒，令秒，令 则则 Rt 表示信道平均每秒传输的信息量，称为：表示信道平均每秒传输的信息量，称为：信息信息传输速率传输速率，单位是：，单位是：比特比特/秒秒。);(1YXItRt信道疑义度信道疑义度l由由:I(X;Y)=H(X)-H(X/Y)得到：得到：H(X/Y)=H(X)-I(X;Y)lH(X）表示）表示：信源本来平均每个符号具有的信息量：信源
8、本来平均每个符号具有的信息量（不确定性）；（不确定性）；lI(X;Y)表示表示：信宿接收到符号后，由其每个符号所：信宿接收到符号后，由其每个符号所能得到信源每个符号的信息量；能得到信源每个符号的信息量；lH(X/Y)表示表示：信宿接收到符号后，信源的每个符：信宿接收到符号后，信源的每个符号还剩余的信息量（不确定性），产生的原因是因为号还剩余的信息量（不确定性），产生的原因是因为信道有干扰，故称信道有干扰，故称H(X/Y)为为信道疑义度。信道疑义度。平均互信息平均互信息 I(X;Y)的性质的性质l课本中第课本中第22页，性质页，性质5：凸函数性凸函数性；l定理定理2.1 当条件概率分布当条件概率
9、分布 p(yj/xi)给定时，给定时，平均互信息平均互信息 I（X；Y）是输入分布）是输入分布 p(xi)的的上凸函数。上凸函数。l定理定理2.2 对于固定的输入分布对于固定的输入分布 p(xi)，平均，平均互信息量互信息量I（X；Y）是条件概率分布）是条件概率分布 p(yj/xi)的下凸函数。的下凸函数。一个例题一个例题l设二元对称信道中，错误概率设二元对称信道中，错误概率 p=3/4，当输入分布分，当输入分布分别为别为(1/2,1/2)和和(1/4,3/4)时，分别求相应的平均互信时，分别求相应的平均互信息息 I(X;Y).13443144ppPpp(1)1122XP(2)1344XP方法
10、：方法：利用平均互信息的如下公式利用平均互信息的如下公式l输入分布输入分布 PX 与条件概率分布与条件概率分布 PY/X（信道矩阵）已知，（信道矩阵）已知，而而 PY=PX *PY/X ,p(xi yj)=p(xi)*p(yj/xi),所以所以由输入分布和条件概率分布可以求出平均互信息。由输入分布和条件概率分布可以求出平均互信息。211(/)(;)()log()nmjiijijjp yxI X Yp x yp y I(X;Y)的求解的求解1/13111144()()31222244YXY XPPP13883188XYP 2221122222(/)(;)()log()11/433/433/411
11、/4loglogloglog81/281/281/281/231log 3440.94jiijijjp yxI X Yp x yp y I(X;Y)的求解的求解2/13135344()()31448844YXY XPPP131616931616XYP 22211222222222(/)(;)()log()11/433/493/431/4loglogloglog165/8163/8165/8163/81239632logloglog16581651631953log 5log 316880.33jiijijjp yxIX Yp x yp y 说明说明l信道固定时（条件概率转移矩阵固定时），不信道
12、固定时（条件概率转移矩阵固定时），不同的输入分布对应着不同的平均互信息。同的输入分布对应着不同的平均互信息。最佳输入分布最佳输入分布l因为条件概率分布即表示信道，由定理因为条件概率分布即表示信道，由定理2.1知：知：当信道固定时，存在一种输入分布，使得平均当信道固定时，存在一种输入分布，使得平均互信息互信息 I（X;Y）在该输入分布下达到最大）在该输入分布下达到最大值，称此时的输入分布为：值，称此时的输入分布为：最佳输入分布最佳输入分布。4、信道容量的定义、信道容量的定义l定义定义4.1 信道容量为平均互信息对于输入概率信道容量为平均互信息对于输入概率分布的最大值：分布的最大值：l单位依所用的
13、对数不同可以是：单位依所用的对数不同可以是：比特比特/符号符号，奈特奈特/符号符号，等。，等。l相应的输入概率分布被称为相应的输入概率分布被称为最佳输入分布最佳输入分布。);(max)(YXICxp例例4.1 二元对称信道二元对称信道（BSC：binary symmetric channel）pppp)1|0()0|0(1|0)(1|1)ppppppppP P0101pppp 信道概率转移图信道概率转移图输入符号集输入符号集X=0,1,输入概率分布为输入概率分布为 输出符号集输出符号集Y=0,1，即，即rs2传递概率：传递概率：(,)XP解解lI(X;Y)=H(Y)-H(Y/X)()()HppHp注意：上两个式子是如何得到的？表示什么意思？注意：上两个式子是如何得到的？表示什么意思？()m ax(;)m ax()()1()ipxCIXYHppHpHp总结总结l1、离散单符号信道的含义、离散单符号信道的含义l2、离散单符号信道的数学模型、离散单符号信道的数学模型l3、平均互信息、平均互信息 I(X;Y)的含义的含义l4、信道容量的含义、信道容量的含义
