信息论与编码第3章课件.ppt

1、第3章信道与信道容量q3.1 信道的基本概念q3.2 离散单个符号信道及其容量q3.3 离散序列信道及其容量(略)q3.4 连续信道及其容量q3.5 信源与信道的匹配1信源信源编码信道解码信道信道编码加密信宿信源解码解密加密密钥干扰源解密密钥窃听者xyzzyxkk通信系统的物理模型3.1信道的基本概念信道是通信系统中的重要组成部分，是信息传输的媒介，其任务是以信号的方式传输信息、存储信息。2信道可以是简单的一段电路，也可以是包含了设备的复杂系统。即使在同一个通信系统中，也可以有不同的划分。研究信道就是研究信道中理论上能够传输或者存储的最大信息量，即信道的容量问题。33.1.1 信道分类 用户数

2、量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类：随机差错、突发差错 输入输出特点：离散、连续、半离散半连续、波形信道3.1信道的基本概念43.1.2 信道参数121121(,),(,),()iinjjmXXXXaaY YYXbbpXYY/X设信道输入矢量为输出矢量为条件概率描述信道输入输出信号之间的统计依赖关系信道种类无干扰信道有干扰无记忆信道有干扰有记忆信道5无干扰（无噪声）信道)(,0)(,1)/(xyxyXYffp信道种类6有干扰无记忆信道 二进制对称信道（BSC）pppp11P 1-p 1-p p p 0 1 1 0 信道种类p(Y

3、=0|X=1)=p(Y=1|X=0)=pp(Y=1|X=1)=p(Y=0|X=0)=1-p 7信道种类有干扰无记忆信道 离散无记忆信道nmnnmmppppppppp212222111211P b2 a2 a1 an bm b1 niabpmjij,2,1,1)|(18信道种类有干扰无记忆信道 离散输入、连续输出信道：输入有限的、离散的；输出是连续的222/)(21)/(iayiYeayp+X Y G Y X G加性高斯白噪声(AWGN)信道：9信道种类有干扰无记忆信道 波形信道：输入是模拟波形；输出也是模拟波形+x(t)y(t)n(t)11(/)(,/,)LLppyyxxYYy x,(,)(,

4、)(/)()()()X YX nYnXXpx ypx npy xp npxpx噪声与信号通常相互独立，(/)()ccH YXHn波形信道转化成多维连续信道，条件熵HC(Y/X)是由于噪声引起的，它等于噪声的熵HC(n)，所以称条件熵为噪声熵噪声熵，也被称作散布度。10信道种类有干扰有记忆信道两种处理方法：将记忆性较强的多个符号当作矢量符号，各个矢量符号之间认为无记忆；将转移概率看作马尔科夫链的形式，信道的统计特性可用现时刻输入信号和前时刻信道所处的状态的条件概率决定。11信道种类分析目的分析目的不同，所选的信道模型也不同：设计和分析离散信道编、解码器的性能，从工程角度出发：DMC或BSC信道模

5、型 从分析性能的理论极限角度出发：离散输入、连续输出信道模型 设计和分析数字调制、解调器的性能：波形信道模型本书的后续部分主要讨论编解码，因此，DMC信道使用最多。123.1.3 信道容量的定义信息传输率：信道中平均每个符号所能传送的信息量，R=I(X;Y)=H(X)H(X/Y)比特/符号信息传输速率：信道在单位时间内平均传输的信息量，Rt=I(X;Y)/T 比特/秒信道容量：信道所能传送的最大信息量。比特/符号（bits/symbol或bits/channel use）注意限制条件：概率的非负性与全概率公式。);(max)(YXICiap或者Ct=C/T，比特/秒(bits/s)13两个问题

6、：I(X;Y)的最大值是否存在？若存在，怎样才能找到它？第一个问题，即信道容量的存在性问题，由以下存在性定理来说明。定理：给定转移概率矩阵P后，平均互信息I(X;Y)是概率矢量Px的上凸函数。(证明略)用I(Px)表示I是Px的函数，则在I(Px)曲线上凸点所对应的输入符号概率矢量Px上，I(Px)取得极大值，这个极大值就是信道容量。第二个问题，信道容量的计算问题。对于固定信道参数的信道，信道容量是个固定值，但在传输时能否提供最大的传输能力，取决于输入端符号的概率分布。143.2 离散单个符号信道及其容量3.2.1 无干扰离散信道的信道容量X、Y一一对应Clog n多个输入变成一个输出Cmax

7、H(Y)一个输入对应多个输出CmaxH(X)153.2离散单个符号信道及其容量3.2.2 对称DMC信道输入对称 如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称输出对称 如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称对称对称的的DMC信信道道 如果输入、输出都对称163.2.2 对称DMC信道及其容量对称DMC信道例子3131616161613131216131312161613121173.2.2 对称DMC信道及其容量对称信道的条件熵H(Y/X)与信道输入符号的概率分布无关，且有 当对称信道输入符号等概率分布时，输出符号也等概

8、分布；反之，若对称信道输出符号等概分布时，输入符号必定也是等概分布。无关与iabpabpjijij)/(log)/()/()/(log)/()/(log)/()()/(ijijijjijijiixYHabpabpabpabpapXYHiijiijijabpnabpapbp)/(1)/()()(183.2.2 对称DMC信道及其容量对称信道容量)/()(max)|()(max);(max)()()(XYHYHXYHYHYXICiiiapapapmjijijippmaYHmC1loglog)|(log结论：当信道输入符号等概率分布时，对称DMC信道达到其信道容量。其中，m为信道输出符号集中的符号数

9、目。193.2.2 对称DMC信道及其容量例3-1.求信道容量3131616161613131P21 1 1 1log 4(,)0.082 /3 3 6 6CHbit符号203.2.2 对称DMC信道及其容量例3-2.求信道容量111111111nnnnnnP信道输入符号和输出符号的个数相同都为n，且正确传输概率为1，错误概率被均分给n-1个输出符号，该信道被称作强对称信道或均匀信道，为对称离散信道的特例。)1,1,1(lognnHnC213.2.2 对称DMC信道及其容量二进制对称信道容量 C1H（）00.20.40.60.8100.20.40.60.81Page-53 离散无记忆模K加性噪

10、声信道Page-54 例3-3223.2.2 对称DMC信道及其容量串联信道 C(1,2)=max I(X;Z)C(1,2,3)=max I(X;W)串接的信道越多，其信道容量可能会越小，当串接信道数无限大时，信道容量就有可能趋于零。233.2.2 对称DMC信道及其容量例3-4.设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量1121PP222221)1()1(2)1(2)1(1111PPP243.2.2 对称DMC信道及其容量信道容量 I(X;Y)=1-H()，I(X;Z)=1-H2(1-)00.5100.20.40.60.81m=1 m=2 m=3 253.2离散单个

11、符号信道及其容量3.2.3 准对称DMC信道 如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称准对称DMC信道3/16/13/16/16/16/13/13/11P7.01.02.02.01.07.02P263.2.3 准对称DMC信道及其容量准对称DMC信道容量()()max(;)max()(/)iip ap aCI X YH YH YX1()()()max()max()max()iiijip ap ap aH Yf p bf p a()()(/)jijiip bp a p ba 结论：当输入分布为等概分布时，互信息达到

12、最大值，即为信道容量（证明略）。273.2.3 准对称DMC信道及其容量例3-6.求信道容量2.05.03.02.03.05.0P 方法一：信道的输入符号有两个，可设p(a1)，p(a2)1，信道的输出符号有三个，用b1、b2、b3表示，2.0)1(2.02.0)(2.05.0)1(5.03.0)(2.03.0)1(3.05.0)(321bpbpbp0);(YXImax(;)0.036/CI X Ybit符号()()(/)jijiip bp a p ba jjijijijijI(X;Y)H(Y)H(Y/X)p(b)ln p(b)p(a)p(b/a)ln p(b/a)这样的信道也被称作二元对称删

13、除信道。283.2.3 准对称DMC信道及其容量方法二 当p(a1)p(a2)1/2时，p(b1)p(b2)(1-0.2)/20.4 C=H(Y)-H(Y/X)=0.036 bit/符号方法三 将转移概率矩阵划分成若干个互不相交的对称的子集rkkksMNpppHnC121log),(logn为输入符号集个数；p1，p2，ps是转移概率矩阵P中一行的元素，即H(p1，p2，ps)H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数293.2.3 准对称DMC信道及其容量方法三2.05.03.02.03.05.0P0.50.30.2,0.30.50

14、.2 222log 2(0.5,0.3,0.2)0.8log 0.80.2log 0.40.036/CHbit符号303.2.3 准对称DMC信道及其容量例3-7.求信道容量3/16/13/16/16/16/13/13/11P2222log 2(1/3,1/3,1/6,1/6)(1/3 1/6)log(1/3 1/6)1/3log(1/3 1/3)1/6log(1/6 1/6)0.041 /CHbit符号1/31/61/31/6,1/61/31/31/6313.2离散单个符号信道及其容量3.2.4 一般DMC信道 一般地说，为使I(X;Y)最大化以便求取DMC容量，输入符号概率集p(ai)必须

15、满足的充分和必要条件是：I(ai;Y)=C 对于所有满足p(ai)0条件的I I(ai;Y)C 对于所有满足p(ai)=0条件的I当信道平均互信息达到信道容量时，输入符号概率集p(ai)中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外。323.3 离散序列信道及其容量(略)3.4 连续信道及其容量 3.4.1 连续单符号加性信道 x(xR)p(y/x)y(yR)n平均互信息为I(X;Y)HC(X)HC(X/Y)HC(Y)HC(Y/X)HC(X)HC(Y)HC(XY)信道容量)/()(max);(max)()(XYHYHYXICCCxpxp()max()()CCp xCHYHn

16、y=x+n333.4 连续信道及其容量 连续单符号加性信道 若噪声是均值为零、方差为2的加性高斯噪声，Hc(n)最大，信道容量就小。这是信道危害最大的情况，所以在处理实际问题时，通常采用计算高斯噪声信道容量的方法保守地估计容量，且高斯噪声信道容量容易计算。2()1max()log22Cp xCHYe()max()()CCp xCHYHn343.4 连续信道及其容量 连续单符号加性信道 pY(y)N(0,P)，pn(n)N(0,2)，y=x+n，pX(x)N(0,S)1log(21log212log212log21222SPeePCC1/2 log(1+SNR)信道输入X是均值为零、方差为S的高

17、斯分布随机变量时，信息传输率达到最大值 若仅仅是加性的，可以求出信道容量的上下界)(2log21)1log(212nHePCSC353.4 连续信道及其容量 3.4.3 限时限频限功率加性高斯白噪声信道 波形信道中，在限时tB、限频fm条件下可转化成多维连续信道，将输入随机过程x(t)、输出随机过程y(t)转化成L维随机序列XX1 X2 XL 和YY1 Y2 YL，波形信道的平均互信息为();()lim(;)LI x ty tIX Y信道容量为()1max lim(;)/BttpBCIbit stxX Y3.4.2 多维无记忆加性连续信道（略）363.4 连续信道及其容量 限时限频限功率加性高

18、斯白噪声信道 000log(1/)log(1)log(1)2222SSSBPNPPLLCWtWN WN W在加性高斯白噪声信道中，信道的容量 0limlog(1)/BSttBPCCWbit stN W单位时间的信道容量：香农公式香农公式 也可写为 Ct=W log(1+SNR)bit/s 输入信号x(t)满足均值为零、平均功率Ps的高斯白噪声的特性。0limlog(1)/BSttBPCCWbit stN W单位时间的信道容量：也可写为 Ct=W log(1+SNR)bit/s0limlog(1)/BSttBPCCWbit stN W单位时间的信道容量：也可写为 Ct=W log(1+SNR)b

19、it/s0limlog(1)/BSttBPCCWbit stN W单位时间的信道容量：也可写为 Ct=W log(1+SNR)bit/s0limlog(1)/BSttBPCCWbit stN W单位时间的信道容量：也可写为 Ct=W log(1+SNR)bit/s0limlog(1)/BSttBPCCWbit stN W单位时间的信道容量：37)2315();(1maxlimYXITCxPT0log(1)log(1)SPCWWSNRWN平均功率受限条件下信道容量平均功率受限条件下信道容量带宽带宽信号平均功率信号平均功率噪声功率谱密度噪声功率谱密度信噪比信噪比Signal Noise Ratio

20、10logSNR 单位单位dB结论：结论：W给定时，给定时，SNR，CSNR给定时，给定时，W，CC给定时，给定时，W，SNR，信号功率，信号功率 W，SNR，信号功率，信号功率 说明宽带系统有较好的抗干扰性。（扩频通信）说明宽带系统有较好的抗干扰性。（扩频通信）383.4 连续信道及其容量 例：电话信道的带宽为3.3kHz，若信噪功率比为20dB，即SNR100，求信道的容量。log(1)3.3log(1 100)22/tCWSNRkb s393.5 信源与信道的匹配信源与信道的匹配 信源发出的消息（符号）要通过信道来传输，因此要求信源的输出与信道的输入匹配。符号匹配：信源输出的符号必须是信

21、道能够传送的符号；信息匹配：当信源与信道连接时，信息传输率达到信道容量，则称信源与信道达到匹配。40信道冗余度信道绝对冗余度=CI(X;Y)信道相对冗余度=(;)1I X YC41冗余度大：信源与信道匹配程度低，信道的信息传递能力未得到充分利用；冗余度小：信源与信道匹配程度高，信道的信息传递能力得到较充分利用；冗余度为零：说明信源与信道（信息）完全匹配，信道的信息传递能力得到完全利用。通常，实际信源的概率分布未必就是信道的最佳输入分布，所以I(X;Y)C，冗余度不为零。信道冗余度42对信源输出符号进行编码可以使得信源的输出与信道的输入相匹配：将信源输出的符号变换为信道能够传送的符号，即符号匹配

22、；变换后的符号概率分布能使信息传输率接近信道容量，即信息匹配。Page-67：例3-1243);(max)(YXICixP小结信道参数：用转移概率表示信道信道容量 信道上每传送一个符号(每使用一次信道)所能携带的比特数，即比特/信道符号(bits/symbol或bits/channel use)。如果已知信道符号传送周期是T秒，此时Ct=C/T，比特/秒(bit/s)。44DMC信道的容量对称DMC信道的容量：当信道输入符号等概分布时，可达到其信道容量 BSC信道的容量：m=2准对称信道的容量1log(|)loglogmiijijjCmH Y xmpp 45带限波形信道的容量条件：信道带宽W受限 噪声为加性高斯白噪声（均值为零，功率谱密度为N0）输入信号平均功率受限PS 若输入信号是平均功率受限的高斯白噪声信号，可达信道容量香农公式：0log(1)log(1)PCWWSNRWN46