信息论理论基础-3(1007)课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《信息论理论基础-3(1007)课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 理论基础 1007 课件
- 资源描述:
-
1、2022-12-221信息论基础第4章 抗干扰二元编码韩宇辉22022-12-22第4章 抗干扰二元编码4.1 抗干扰二元编码的基本概念抗干扰二元编码的基本概念4.2 检错码检错码4.3 用于单向信道的简单纠错码用于单向信道的简单纠错码4.4 纠一位错误的汉明码纠一位错误的汉明码4.5 循环码循环码4.6 纠正独立错误的卷积码纠正独立错误的卷积码4.7 纠正突发错误的编码纠正突发错误的编码4.8 有限域的基本知识有限域的基本知识2022-12-2234.1 抗干扰二元编码的基本概念42022-12-224.1.1 抗干扰编码的基本思想 00 01 10 110 00 01 11 1奇校验奇校验
2、抗干扰编码的基本思想:抗干扰编码的基本思想:利用剩余的增加来换取可靠性的提高利用剩余的增加来换取可靠性的提高信息元信息元监督元监督元许用码字:许用码字:系统实际使用的码字。系统实际使用的码字。001,010,100,111禁用码字:禁用码字:系统中不使用的码字。系统中不使用的码字。000,011,101,11052022-12-224.1.2 几个定义 码距(汉明距离)码距(汉明距离)W=x1 x2 xn xi 0,1W=x1x2xn xi 0,1 最小码距(最小汉明距离)最小码距(最小汉明距离)一个码组(码字)集合中,两码字间的最小距离一个码组(码字)集合中,两码字间的最小距离dmin称为该
3、码字集合的最小距离,简称称为该码字集合的最小距离,简称最小码距最小码距。码重(汉明重量)码重(汉明重量)码组中所含码元码组中所含码元“1”的数量,称为该码组的重量,的数量,称为该码组的重量,简称简称码重码重。1(,)0W Wniiidxxdn62022-12-224.1.3 最小码距与纠检错能力的关系1.1.译码准则译码准则 p(yj/xi)X Y X:x1,x2,xn Y:y1,y2,ymP(Y/X):p(yj/xi);i=1,2,n;j=1,2,m这时定义一个收到这时定义一个收到yj后判定为后判定为xi的单值函数,的单值函数,即:即:F(yj)=xi (i=1,2,n;j=1,2,m);这
4、个函数称为这个函数称为译码函数译码函数。它构成一个译码函数组,。它构成一个译码函数组,这些函数的值组成了这些函数的值组成了译码准则译码准则。对于有对于有n个输入,个输入,m个输出的信道来说,可以有个输出的信道来说,可以有nm个不同的译码准则。个不同的译码准则。72022-12-222.2.最小码距译码准则最小码距译码准则若若 d(x*j,yj)d(xi,yj)(对一切的对一切的i),则,则F(yj)=x*j(j=1,2,m,x*j X)3.3.最小码距与纠检错能力的关系最小码距与纠检错能力的关系【例【例】X:0000000,1111111,dmin=7检错能力:检错能力:发送码字:发送码字:接
5、收码字:接收码字:判断结果:判断结果:纠错能力:纠错能力:发送码字:发送码字:接收码字:接收码字:译码结果:译码结果:00000000000000 00000000000000 10000000000000 11000000000000 11100001111111 11110001111111 11111001111111 11111101111111 11111110000000最多可以发现最多可以发现6位错误位错误0000000传输正确传输正确 最多可以纠正最多可以纠正3位错误位错误1000000传输错误传输错误 1100000传输错误传输错误 1110000传输错误传输错误 11110
6、00传输错误传输错误 1111100传输错误传输错误 1111110传输错误传输错误 1111111传输正确传输正确 82022-12-22纠错纠错同时同时检错的能力检错的能力纠正纠正1位错误:位错误:发送码字:发送码字:接收码字:接收码字:判断结果:判断结果:译码结果:译码结果:纠正纠正2位错误:位错误:发送码字:发送码字:接收码字:接收码字:判断结果:判断结果:译码结果:译码结果:0000000000000010000001100000111000011110001111100111111011111110000000最多可以同时发现最多可以同时发现5位错误位错误0000000传输正确传输
7、正确 1000000传输错误传输错误 1100000传输错误传输错误 1110000传输错误传输错误 1111000传输错误传输错误 1111100传输错误传输错误 1111110传输错误传输错误 1111111传输正确传输正确 最多可以同时发现最多可以同时发现4位错误位错误0000000 0000000 不进行译码不进行译码不进行译码不进行译码不进行译码不进行译码不进行译码不进行译码1111111 1111111 传输正确传输正确 传输错误传输错误 传输错误传输错误 传输错误传输错误 传输错误传输错误 传输错误传输错误 传输错误传输错误 传输正确传输正确 0000000 0000000 00
8、00000 不进行译码不进行译码 不进行译码不进行译码1111111 1111111 1111111 92022-12-22若发现若发现e个错误,则要求个错误,则要求 dmine+1;若纠正若纠正t个错误,则要求个错误,则要求 dmin2t+1;若纠正若纠正t个错误,个错误,同时同时发现发现e个错误,个错误,则要求则要求dmint+e+1(te)102022-12-224.1.4 抗干扰编码的基本原理1.1.原理:原理:dmin与纠检错能力的关系与纠检错能力的关系2.2.实现方法:实现方法:信息元信息元+监督元监督元3.3.代数编码:代数编码:信息元与监督元是按一定的代数关系信息元与监督元是按
9、一定的代数关系互相制约的。互相制约的。(1)(1)分组码(块码)分组码(块码)k信息位长度信息位长度 n码长码长 r=n-k监督位长度监督位长度特点:特点:无记忆性无记忆性(n,k)分组码的分组码的码率码率(编码效率):(编码效率):=R/C=H(A)/Hmax(A)=k/n逻辑网络逻辑网络12k12n.112022-12-22 分组码按其结构可以分为系统码和非系统码。如分组码按其结构可以分为系统码和非系统码。如果在一个分组码码字中,信息元安排在前果在一个分组码码字中,信息元安排在前k位,而位,而监督元安排在后监督元安排在后n-k=r位,则称其为位,则称其为系统码系统码,否则,否则就称为就称为
10、非系统码非系统码。(2)(2)卷积码(连环码)卷积码(连环码)m=m+1编码器的约束长度编码器的约束长度 或编码约束长度或编码约束长度 n=n0m卷积码的约束长度卷积码的约束长度 特点:特点:有记忆性有记忆性,输出不仅与当时的输入有关,还,输出不仅与当时的输入有关,还与前与前m个单位时间的输入有关。个单位时间的输入有关。(n0,k0,m)卷积码的码率(编码效率):卷积码的码率(编码效率):=k0/n0时序网络时序网络12k012n0.122022-12-224.4.抗干扰编码的分类抗干扰编码的分类(1)(1)用途:用途:检错码和纠错码检错码和纠错码(2)(2)干扰的性质:干扰的性质:纠正独立错
11、误的编码和纠正突发错误的编码纠正独立错误的编码和纠正突发错误的编码p 独立错误独立错误也称为也称为随机错误随机错误,是由随机噪声引起,是由随机噪声引起的,其特点是各码元发生错误与否是互相独立的,的,其特点是各码元发生错误与否是互相独立的,因而一般不会成片地出现错误。因而一般不会成片地出现错误。p 突发错误突发错误是由突发噪声(脉冲噪声、深衰落、接是由突发噪声(脉冲噪声、深衰落、接触不良引起噪声等)引起的,其特点是各码元是触不良引起噪声等)引起的,其特点是各码元是否发生错误存在某种相关性。通常称突发错误持否发生错误存在某种相关性。通常称突发错误持续时间内的码元数目为续时间内的码元数目为突发长度突
12、发长度。(3)(3)对信息的处理方式:对信息的处理方式:分组码和卷积码分组码和卷积码(4)(4)约束关系:约束关系:线性码和非线性码线性码和非线性码(5)(5)信息元的位置:信息元的位置:系统码和非系统码系统码和非系统码132022-12-225.5.差错控制系统的分类差错控制系统的分类(1)ARQ(Automatic Repeat reQuest)自动反馈重传自动反馈重传 采用检错码,接收端收到码字后判断在传输中有采用检错码,接收端收到码字后判断在传输中有无错误产生,并通过反馈信道把检测结果告诉发无错误产生,并通过反馈信道把检测结果告诉发送端。发端把收端认为有错的消息再次传送,直送端。发端把
13、收端认为有错的消息再次传送,直到收端认为正确为止。到收端认为正确为止。优点:优点:译码设备简单,由于同一种码的检错能力比译码设备简单,由于同一种码的检错能力比纠错能力要高得多,因而整个系统能获得极低的纠错能力要高得多,因而整个系统能获得极低的误码率。误码率。缺点:缺点:应用应用ARQ方式方式必须有一条从收端至发端的反必须有一条从收端至发端的反馈信道,只适用于点对点的方式,并要求收、发馈信道,只适用于点对点的方式,并要求收、发两端必须互相配合,其控制电路比较复杂,实时两端必须互相配合,其控制电路比较复杂,实时性也较差。性也较差。142022-12-22(2)FEC(Forward Error C
14、orrection)前向纠错前向纠错 采用纠错码,接收端收到码字后,自动地纠正传采用纠错码,接收端收到码字后,自动地纠正传输中的错误。输中的错误。优点:优点:不需要反馈信道,既适用于点对点的方式,不需要反馈信道,既适用于点对点的方式,也适用于点对多点的方式,实时性较好,控制电也适用于点对多点的方式,实时性较好,控制电路也比较简单。路也比较简单。缺点:缺点:译码设备较复杂,编码效率较低。译码设备较复杂,编码效率较低。(3)HFC(Hybrid Error Correction)混合纠错混合纠错 是前两种方式的结合。发端发送的码既能检错、是前两种方式的结合。发端发送的码既能检错、又有一定的纠错能力
15、。收端译码时若发现错误个又有一定的纠错能力。收端译码时若发现错误个数在码的纠错能力以内,则自动进行纠错;若错数在码的纠错能力以内,则自动进行纠错;若错误个数超过了码的纠错能力,但能检测出来,则误个数超过了码的纠错能力,但能检测出来,则通过反馈信道告知发方重发。通过反馈信道告知发方重发。2022-12-22154.2 检错码162022-12-22一致监督检错码一致监督检错码也叫也叫一致监督校验码一致监督校验码或或奇偶校验码奇偶校验码。1.1.原理:原理:信息元(信息元(k位):位):x1,x2,xk监督元(监督元(1位):位):xn=xk+1偶校验:偶校验:奇校验:奇校验:4.2.1 一致监督
16、检错码1(mod2)kniixx11kniixx172022-12-22/22221(1)niiniuneeipCpp(1)/22221(1)niiniuneeipCpp246.ppp1ep 22222(1)nuneenepC ppC p2.2.漏检概率漏检概率 奇偶校验码只能发现码字中的奇数个错误,不能奇偶校验码只能发现码字中的奇数个错误,不能发现偶数个错误。发现偶数个错误。n为偶数:为偶数:n为奇数:为奇数:若若 ,则,则182022-12-22 定比码定比码也称也称恒比码恒比码、等重码等重码或或范范德伦码德伦码,每个码字,每个码字中中“1”与与“0”的比例是固定的,的比例是固定的,“1”
17、的个数也是固的个数也是固定的。定的。1.1.五三定比码五三定比码 五三定比码每个码字的码长为五三定比码每个码字的码长为5,含有,含有3个个“1”和和2个个“0”的码字作为许用码字。的码字作为许用码字。(1)许用码字数目:许用码字数目:禁用码字数目:禁用码字数目:4.2.2 定比码355 4 3101 2 3C 535232 1022C192022-12-2226uepp234246(1)3(1)ueeeeppppppp1ep (2)漏检概率漏检概率 若若“1”错成错成“0”的数目正好等于的数目正好等于“0”错成错成“1”的的数目,则五三定比码不能发现这类错误。数目,则五三定比码不能发现这类错误
18、。一个码字中有一个码字中有2位错误,且其中位错误,且其中1位位“1”错成错成“0”,1位位“0”错成错成“1”的概率为的概率为 一个码字中有一个码字中有4位错误,且其中位错误,且其中2位位“1”错成错成“0”,2位位“0”错成错成“1”的概率为的概率为 因此,漏检概率为因此,漏检概率为 当当 时,时,12123232(1)(1)6(1)eeeeeepC ppC pppp22224432(1)3(1)eeeeepC pp C ppp202022-12-22(3)编码效率编码效率 =R/C=H/Hmax=log10/log3266%2.2.七三定比码七三定比码 七三定比码每个码字的码长为七三定比码
19、每个码字的码长为7,含有,含有3个个“1”和和4个个“0”的码字作为许用码字。的码字作为许用码字。(1)许用码字数目:许用码字数目:禁用码字数目:禁用码字数目:(2)编码效率编码效率 =R/C=H/Hmax=log35/log12872%377 6 5351 2 3C 73721283593C212022-12-22(3)漏检概率漏检概率 一个码字中有一个码字中有2位错误,且其中位错误,且其中1位位“1”错成错成“0”,1位位“0”错成错成“1”的概率为的概率为 一个码字中有一个码字中有4位错误,且其中位错误,且其中2位位“1”错成错成“0”,2位位“0”错成错成“1”的概率为的概率为 一个码
20、字中有一个码字中有6位错误,且其中位错误,且其中3位位“1”错成错成“0”,3位位“0”错成错成“1”的概率为的概率为因此,漏检概率为因此,漏检概率为 当当 时,时,121325234(1)(1)12(1)eeeeeepC ppC pppp2222243434(1)(1)18(1)eeeeeepC pp C pppp33336634(1)4(1)eeeeepC p C pppp2543624612(1)18(1)4(1)ueeeeeepppppppppp1ep 212uepp2022-12-22224.3 用于单向信道的简单纠错码232022-12-22编码效率:编码效率:=1/n(1)逐位重
21、复:逐位重复:用于纠正随机错误。用于纠正随机错误。(2)逐段重复:逐段重复:还可用于纠正突发错误。还可用于纠正突发错误。例如,例如,1 0 1 1 0 1 0 0逐位重复,三重码:逐位重复,三重码:111 000 111 111 000 111 000 000逐段重复,四位一段,三重码:逐段重复,四位一段,三重码:1011 1011 1011 0100 0100 01004.3.1 简单重复码将信息重复多次,只要正确传输的次数多于传错的将信息重复多次,只要正确传输的次数多于传错的次数,则可以将错误纠正过来。重复次数次数,则可以将错误纠正过来。重复次数n通常为通常为奇数。奇数。2022-12-2
22、2244.4 纠一位错误的汉明码252022-12-221.1.线性分组码的定义线性分组码的定义若分组码的监督元与信息元之间是一种线性约束关若分组码的监督元与信息元之间是一种线性约束关系,则称其为系,则称其为线性分组码线性分组码。(n,k)线性分组码的码率:线性分组码的码率:=k/n许用码字数目:许用码字数目:2k禁用码字数目:禁用码字数目:2n-2k系统码:系统码:x1 x2 xk xk+1 xk+2 xn信息元信息元监督元监督元262022-12-22111122110 kkka xa xa xx211222220 kkka xa xaxx 11220 rrrkkna xa xa xx2.
23、2.线性分组码的监督矩阵线性分组码的监督矩阵线性分组码监督元与信息元之间的线性关系可以用线性分组码监督元与信息元之间的线性关系可以用二元域上的线性方程组描述。二元域上的线性方程组描述。整理得:整理得:11111221 kkkxa xa xa x22112222 kkkxa xa xax 1122 nrrrkkxa xa xa x0,11,2,;1,2,)(ijair jk272022-12-22111122110 kkka xa xa xx211222220 kkka xa xaxx 11220 rrrkkna xa xa xx将方程组用矩阵方程来表示,可得将方程组用矩阵方程来表示,可得 11
24、1211212222121101kkrrrknaaaxaaaxaaax监督矩阵监督矩阵HH CT=0码字向量码字向量 C=x1 x2 xn 282022-12-22111212122212111kkrrrkaaaaaaHaaark子阵子阵Prr单位阵单位阵Ir111212122212111kkrrrkaaaaHaaaaa111212122212111kkrrrkaaaaHaaaaar=n-k行:行:r个监督元,个监督元,r个监督方程个监督方程n列:列:n个码元之间的监督关系个码元之间的监督关系(n,k)系统系统线性分组码监督矩阵形式线性分组码监督矩阵形式:(典型监督矩阵典型监督矩阵或或标准监督
25、矩阵标准监督矩阵)H=P Ir292022-12-22111 11221 kkkxa xa xa x221 12222 kkkxa xa xa x 1 122 nrrrkkxa xa xa x11 xx22 xx kkxx121112121222112212111kkkkkkrrrnkxxaaaaaaxaxxaxxxxa111212122212121122111kkrrrkkknkkxxxxxxxxxaaaaaaaaa121211112122122212111kkkkkknrrrkxxxxxxaaaxaaaxxaaa3.线性分组码的生成矩阵线性分组码的生成矩阵302022-12-22TTTAB
展开阅读全文