第六章-有噪信道编码课件.ppt

1、第六章第六章有噪信道编码有噪信道编码 第六章第六章 有噪信道编码有噪信道编码 内容提要：内容提要：本章介绍了信道编码和译码的基本本章介绍了信道编码和译码的基本概念，介绍了两种常用的译码准则：最概念，介绍了两种常用的译码准则：最大后验概率译码准则和极大似然译码准大后验概率译码准则和极大似然译码准则则,还介绍了在这两种译码准则下错误还介绍了在这两种译码准则下错误概率的计算方法。概率的计算方法。本章还介绍了信道编码定理及信道本章还介绍了信道编码定理及信道编码逆定理，以及信息论中的一个重要编码逆定理，以及信息论中的一个重要不等式不等式Fano不等式。不等式。1.信道编码的基本概念；信道编码的基本概念；

2、2.几种典型的译码规则。几种典型的译码规则。6.1 信道编码的基本概念信道编码的基本概念 将信道用图6-1所示的模型表示。信道编码器信道信道译码器uxyx图6-1 信道模型 信源输出序列u，经信道编码器编成码字x=f(u)并输入信道，由于干扰，信道输出y，信道译码器对y估值得 =F(y)。x 我们要尽可能的提高信息传输率，并控制传输误差。信源编码以提高传输效率传输效率作为主要考虑因素，信道编码以提高传输可靠性传输可靠性作为主要考虑因素。这一章讨论信道编码的一些基本概念及信道编码定理。【例例6.3】逆重复码逆重复码 离散无记忆二进制对称信道，固有误码率为p(p0.5)，信源输出序列为三位二进制数

3、字。编码规则：为提高传输效率，仅向信道发送一位，预先将信源输出序列进行择多编码:00000000011101010011101111001110判决输出接收发送原序列pp图6-3 逆重复编码传输示意图 译码规则：将接收的一位符号重复三次译出，即若接收到1就译码为111，即若接收到0就译码为000。信源输出的三位符号中有两位或3位是1，信源序列编码为1，若三位符号中有两位或3位是0，就将此信源序列编码为0。计算差错概率pe：分二步进行：（1）先设p=0，计算这种编码方法带来的固有错误p1信道输入符号集X=000,001,010,011,100,101,110,111判决输出符号集Y=000,11

4、1译码规则因为后验概率 则出错概率 111)111110101011(000)100010001000(，FF41)111111()41)000000()yxyx（43411)111()(43411)000()(epyepepyep假设8组输入序列是等概发送的，由于信道的对称性，两个估值序列也是等概分布的，则每个序列的平均错误概率为 ，误比特率 。（2）再设p0，计算由于信道噪声引起的错误概率p2因为每个序列有三位二进制数字，但只发送一位，这一位的出错概率为p，故序列差错概率为p，误比特率 。（3）总差错概率（误比特率）：43)111(5.0)000(5.0epep4143311ppp312p

5、pppe314121【例例6.4】奇偶校验码奇偶校验码 在信息序列后面加上一位校验位，使之模2和等于1，这样的编码称为奇校验码；若使模2和等于0，这样的编码就称为偶校验码，即每个码矢中1的个数固定为奇数或偶数。6.2 译码规则及错误概率译码规则及错误概率 信道总不可避免会搀杂噪声，所以信息在信道传输过程中，差错是不可避免的。选择合适的译码规则可以弥补信道的不足。1最大后验概率译码准则最大后验概率译码准则发送码矢xk，其发送概率为q(xk)，通过信道转移概率为p(yxk)的信道传输，接收到矢量y，信道译码器输出 通信过程可用图6-5所示框图表示。,kx下面介绍两种典型的译码规则：kx信源信道编码

6、器信道信道译码器信宿干扰xky图6-5 通信过程框图 当估值 xk 时，就产生了误码，用（xy）表示后验概率，则收到y估错的概率为 （6-2）kx kikikkepyxyxyxxy1通信总希望错误概率最小，由式(6-2)可看出错误概率pe(xk)最小等同于后验概率（xky）最大，这就是最大后验概率译码准则最大后验概率译码准则。根据概率关系式 （6-3）)()()(yxyyxp根据式（6-3）后验概率（xy）最的就意味着p（x y）全概率最大，因此最大后验概率译码准则也称为最大联最大联合概率译码准则合概率译码准则。【例例6.5】信源分布 ，信道转移概率矩阵 ，信道输出符号Y=y1,y2,y3，按

7、最大后验概率准则译码。4.01.05.0)(321xxxXqX4.03.03.02.07.01.02.03.05.0P(1)根据p(xy)=p(yx)q(x)算出全概率，用矩阵表示 16.012.012.002.007.001.010.015.025.0)(xyp(2)根据 ，算出 （y）=0.38 0.34 0.28 ijijyxpy)()(3)再由 算出后验概率，用矩阵表示)()(yxypyx28.016.034.012.038.012.028.002.034.007.038.001.028.010.034.015.038.025.0)(yx(4)按最大后验概率准则译码，在后验概率矩阵中，

8、每列选一最大值（矩阵中带下划线的值），译为 331211xyxyxy(5)若按最大联合概率译码准则译码，在全概率矩阵 p(xy)中每列选一最大值（矩阵中带下划线的值），也可译出 331211xyxyxy实际应用中，一般用最大信道转移概率来确定估值 ，即在收到矢量y后，在所有的xm(m=1,2,M)中,选一个转移概率p(yxm)最大的xm值，作为对y的估值 =xk，这一译码规则称为极大似然译码规则极大似然译码规则。xkx2极大似然译码准则极大似然译码准则 3平均错误概率平均错误概率【例例6.6】计算例6.5的平均错误概率，若信源等概分布，对其译码，并求平均错误概率。（6-4）k-eppxxyxy

9、)(MjjkMiMjjipp111)()(yxyxkpxxyxy-)(Mjjkj1)(1yxyMjjkj11)(yxy Mjjejepp1)(yyyxyyxxy)()(kpp （1）求平均错误概率pe 根据式（6-4）得=0.01+0.12+0.07+0.12+0.1+0.02=0.44 kppex x-x xy y)(xy(2)当信源等概分布，按最大似然函数译码准则译码，例6.5已给出信道转移概率矩阵 在矩阵的每列中选一最大值(矩阵中带下划线的值)，译码为平均错误概率 4.03.03.02.07.01.02.03.05.0P P332211xyxyxy467.02.02.03.03.03.0

10、1.031ep6.3 信道编码定理信道编码定理定理定理6.1 对于任何离散无记忆信道DMC，存在信息传输率为R，长为n的码，当n 时，平均差错概率 pe exp-nE(R)0，式中E(R)为可靠性函数，E(R)在0 R C，不可能存在任何方法使差错概率任意小。本本 章章 小小 结结 信道输入码矢xk x1,x2,xM，通过信道转移概率为p(yxk)的信道传输，输出矢量y，信道译码器估值为 F(y)，x1,x2,xM。kx xkx xkx x最大后验概率译码准则最大后验概率译码准则（y）（xmy）,2,1 CmxMmmk极大似然译码准则极大似然译码准则 p（y ）p（yxm）kx x,2,1 C CmxMmmk平均译码错误概率平均译码错误概率 kppex x-x xy y)(xy信道编码定理信道编码定理 对于任何离散无记忆信道DMC，存在信息传输率为R，长为n的码，当n 时，平均差错概率 pe exp-nE(R)0，式中E(R)为可靠性函数，E(R)在0 R C，不可能存在任何方法使差错概率任意小。Fano不等式不等式 H(XY)H2(pe)+pe log(k-1)