信息论与编码习题课件.ppt

1、第3章复习 信道参数：用转移概率表示信道 信道模型 二进制离散信道BSC 离散无记忆信道DMC 波形信道11信道容量 信道上每传送一个符号(每使用一次信道)所能携带的比特数，即比特/信道符号(bits/symbol或bits/channel use)。如果已知信道符号传送周期是T秒，此时Ct=C/T，比特/秒(bits/s)22);(max)(YXICixPDMC信道的容量 对称DMC信道的容量：当信道输入符号等概分布时，可达到其信道容量 BSC信道的容量：m2 准对称信道的容量331log(|)loglogmiijijjCmH Y xmpp 带限波形信道的容量 条件：信道带宽W受限 噪声为加

2、性高斯白噪声（均值为零，功率谱密度为N0）输入信号平均功率受限PS 若输入信号是平均功率受限的高斯白噪声信号，可达信道容量 香农公式：香农限：1.6dB440log(1)log(1)PCWWSNRWN习题 设二元对称信道的传递矩阵为 (1)若P(0)=3/4,P(1)=1/4，求H(X),H(X/Y),H(Y/X)和I(X;Y)；(2)求该信道的信道容量及其达到信道容量时的输入概率分布；32313132 某信源发送端有2个符号Xi，i1，2；，每秒发出一个符号。接受端有3种符号yj，j1，2，3，转移概率矩阵为（1）计算接受端的平均不确定度；（2）计算由于噪声产生的不确定度；（3）计算信道容量

3、。2221122max(;)loglog 2(lglg)log 100.082 /3333miCI X YmHbit symbol1()2ip x其最佳输入分布为解：1/21/201/21/41/4P第6章信道编码复习 概念：概念：差错符号、差错比特差错符号、差错比特 差错图样：随机差错、突发差错 纠错码分类纠错码分类：检和纠错码、分组码和卷积码、线性码与非线性码、纠随机差错码和纠突发差错码 30矢量空间与码空间 n维维n重空间有相互重空间有相互正交的正交的n个基底个基底 选择选择k个基底构成个基底构成k维维n重码空间重码空间C 选择另外的选择另外的(n-k)个个基底构成空间基底构成空间H C

4、和和H是对偶的，正是对偶的，正交的交的 CHT0,GHT=031 n维维n重空间重空间V k维维k重重 k维维n重重 n-k维维 信息组信息组 码空间码空间 n重重H 空间空间m C有扰离散信道的编码定理 若传信率RC，就不可能有任何一种编码能使差错概率任意小。32()NE RePe差错控制的途径 从公式 增大码长N 增大可靠性函数E(R)：加大信道容量C 减小码率(传信率)R。从概念上 利用冗余度（增强相关性）噪声均化(随机化)33()NE RePe最优译码与最大似然译码 最佳译码最佳译码 Max P(ci/r)，性能优，实现难 最大似然译码最大似然译码 Max P(r/ci)，性能次优，实

5、现容易 最佳译码等同最大似然译码：最佳译码等同最大似然译码：码集的码字以相同概率发送 接收码等概分布34icic线性分组码 线性分组码基本概念 码元、码字、码集重量、重量分布、恒重码线性码（封闭性）基底、矢量正交、矢量空间正交、对偶空间、线性相关、线性无关35生成矩阵和校验矩阵 生成矩阵G：CmG 校验矩阵H：CHT0 系统形式：GIk|P，HPT|In-k 差错图案E=R-C，伴随式SRHTEHT 标准阵列译码表36码距与纠、检错能力 码的总体性能取决于码距的分布特性（重重量谱量谱），而纠、检错能力取决于其中的最小者dmin，dmin=min w(C i)检、纠错能力：可检dmin1个差错

6、可纠t=INT(dmin1)/2个差错 校验矩阵H中有（dmin-1)列线性无关 dmin (n-k+1)，极大最小距离码极大最小距离码 37特殊的线性分组码 完备码 汉明码：t=1，(2m-1，2m-1-m)高莱（Golay）码：二进制（23，12）线性码，其最小距离dmin7，纠错能力t=3 3802tnkini循环码 循环码用多项式表示：C(x)=m(x)g(x)生成多项式：xn+1g(x)h(x)校验多项式：C(x)h(x)=0 mod(xn+1)g(x)x n-k+gn-k-1 x n-k-1+g1 x+1 系统循环码：C(x)=xn-k m(x)+r(x)，r(x)=xn-k m(x)mod g(x)39扩展码和缩短码 扩展码校验矩阵He 缩短码生成矩阵G400001111 H1000 10101001110010 1100001011卷积码 (n,k,L)表示：矩阵、多项式、结构图、状态图、网格图41