1、第章信源编码理论 第第2 2章信源编码理论章信源编码理论2.1波形编码理论波形编码理论2.2时域波形编码时域波形编码2.3频域波形编码频域波形编码2.4参数编码参数编码2.5图像压缩编图像压缩编2.6数据通信和数据加密编码数据通信和数据加密编码习题习题第章信源编码理论 2.1波形编码理论波形编码理论2.1.1信源的数学模型信源的数学模型任何信源的输出都是随机的,也就是说,信源输出是用统计方法来定性的;否则,如果信源输出已确知,就没有必要传输了。本节将分别以离散和模拟信源的数学模型为前提讨论这两种信源。第章信源编码理论 最简单的离散信源是由有限字符集的字符组成的序列。例如,一个二进制信源发出10
2、0101110形式的二进制字符串,它的字符集仅包含两个字符0,1。更一般地讲,若字符集含有L个可能的字符,如x1,x2,xL,则信源发出的是该字符集里的字符串。为了构造离散信源的数学模型,假定字符集x1,x2,xL的每个字符都有给定的发生概率Pk,即第章信源编码理论 Pk=P(X=xk)1kL这里 11LkkP下面讨论离散信源的两种数学模型。(1)离散无记忆信源(DMS)。假设信源的输出序列是统计独立的,即当前的输出字符与所有过去和将来的输出字符统计无关。凡信源输出序列各字符间满足统计独立条件,则称其为无记忆的,这样的信源称为离散无记忆信源(DMS)。第章信源编码理论(2)平稳离散信源。假如离
3、散信源的输出是统计相关的,可基于统计上的平稳来构造数学模型。根据平稳的定义,如果长度为n的两个序列a1,a2,an和a1+m,a2+m,an+m的联合概率在所有n1和所有移序m的情况下均相等,那么该离散信源是平稳的。换言之,信源输出的任何两个随意长度的序列的联合概率不随时间起点位置的移动而变化。第章信源编码理论 模拟信源具有输出波形x(t),它是随机过程X(t)的一个样本函数。假设X(t)是一个平稳随机过程,其自相关函数为Rxx(),功率谱密度是Pxx(f)。当X(t)是带限的随机过程,即|f|fm时满足条件Pxx(f)=0,可以用抽样定理来表示X(t):)2fnt(2)2(2sin)2()(
4、mmmmmffntffnXtX(2.1)第章信源编码理论 这里,X(n/2fm)表示以每秒fs=2fm个样值的奈奎斯特速率对过程X(t)抽样。这样,利用抽样定理可把模拟信源的输出转换成等效的离散时间信源。于是对于所有m1,都可用联合概率密度函数p(x1,x2,xm)从统计角度描述信源输出的特性,此处Xn=X(n/2fm),1nm,Xn是与X(t)抽样对应的随机变量。我们注意到,由平稳信源得到的每个输出抽样X(n/2fm)通常是模拟量,可以把各个采样值量化成一组离散的幅度,而这种量化处理必然导致精度损失。第章信源编码理论 2.1.2离散信源编码离散信源编码前面我们介绍了离散随机变量X所含信息量的
5、度量方法。当X是一个离散信源的输出时,信源熵H(X)代表信源发出的平均信息量。本节将讨论信源输出的编码方法,即用二进制数字序列来表示信源输出的方法。有一种衡量信源编码效率的办法是把表示信源每一个输出字符所用的平均二进制数字的个数与信源熵H(X)比较。第章信源编码理论 初看起来,有限字符集离散信源的编码相对来说是一个简单问题,然而,只有当信源无记忆时才是这样,即由信源发出的前后符号间统计独立,每个符号可以单独编码。这种离散无记忆信源(DMS)是能够想到的最简单的物理信源模型,但极少有实际信源是与此理想数学模型相符的。第章信源编码理论 例如,从一台打印英语课文的机器里发出的前后字符被认为是统计相关
6、的;另一方面,如果从机器里送出的是用Fortran语言编写的程序,那么输出符号序列之间的相关性要小得多。但不管是什么情况,都可以证明:对字符组编码总是比对单个字符编码效率高。如果使字符组足够长,则信源中的每个输出字符所用的二进制数字的平均个数可无限地趋近于信源熵。第章信源编码理论 1.离散无记忆信源的编码离散无记忆信源的编码假设有一个DMS,每s秒产生一个字符或符号,每个符号选自有限字符集xi(i=1,2,L),各符号发生的概率分别是P(xi)(i=1,2,L)。以“bit/信源符号”为单位,该DMS的熵是1()()lb()lbLiiiH XP xP xL(2.2)第章信源编码理论 当各符号等
7、概时,上式的等号成立。每信源符号的平均比特数是H(X),以b/s为单位计算的信源速率是H(X)/s。1)固定长度码字首先讨论一个分组编码的方案,为每个符号制定惟一的R位二进制数字串与之对应。因为每个符号有L个可能的取值,当L是2的幂次时,每个符号为了能惟一编码所需要的二进制位数应是R=lbL(2.3)第章信源编码理论 当L不是2的幂次时,应有R=lbL+1(2.4)式中,x表示小于x的最大整数(取整)。在上述情况下,每个符号的码率为R(以比特为单位),并且由于H(X)lbL,可知RH(X)。第章信源编码理论 DMS的编码效率定义为H(X)/R之比。我们看到,当L是2的幂次且信源符号等概时,R=
8、H(X)成立,这时每个符号R比特的固定长度码达到了100%的效率。但当L不是2的幂次而信源符号依然等概时,R与H(X)的差别至多是每符号1比特。当lbL1时,这种编码方式的效率仍然较高。另一方面,当L很小时,可以一次对J个符号的序列编码,这样的固定长度码能提高效率。为了实现要求的编码,需要LJ个不同的码字。若采用二进制数字序列,N长的序列可表示2N个可能的码字,所以N的选择必须满足条件第章信源编码理论 NJ lbL因此,满足要求的N的最小整数值是N=J lbL+1 (2.5)于是,每信源符号的平均比特数是N/J=R,与上述逐符号编码相比,(由取整造成的)效率降低约可减小一个因子1/J。如果以J
9、H(X)/N的比值来度量编码效率,那么当J足够大时,编码效率可任意地趋近于1。第章信源编码理论 下面,我们试图降低码率R,在编码过程中放宽“惟一性”这个条件,例如假设在LJ种符号取值中只有一部分是一一对应编码的。说得更具体些,选择2N1种最有可能的J符号组,让它们一一对应编码,而剩余的LJ(2N1)种J符号组统统编成余下的码字。采用这种处理方式后,每当遇到低概率符号组编成那个码字时,就会导致译码失败或译码差错概率(失真),可以用Pe代表这个差错概率。对于这种分组的编码方法,香农于1948年提出了以下信源编码定理。第章信源编码理论 2)信源编码定理若X是有限熵离散无记忆信源的字符集,由信源发出的
10、J个字符组成的分组编成长度为N的二进制码字。对于任何0,都可使分组译码的差错概率Pe任意小,只要()NRH XJ(2.6)第章信源编码理论 以及J足够大。反之,如果RH(X)(2.7)那么当J足够大时,Pe可以任意地趋近于1。从上述结论可看到,想要以任意小的译码差错概率对DMS信源的输出编码,每个符号的平均比特数是以信源熵为下边界的。另一方面,如果RL),可把一种称为K均值算法(这里K=L)的迭代簇聚算法运用于这组训练矢量。这种算法依靠迭代把M个训练矢量分割成L簇,使最优化的两个必要条件都能满足。第章信源编码理论 K均值算法描述如下:步骤1初始化,设置迭代次数i=0。选择一组输出矢量 k,1k
11、L。步骤2根据下列准则,将训练矢量X(m),1mM归类合并成簇Ck。最邻近点准则:若对于任何kj,均有d(X,k(i)d(X,j(i),则XCk(i)。XXX第章信源编码理论 步骤3令i=i+1,按下式重新计算落在每一簇的训练矢量的质心k(i):X1()()(1)kkCkimkLMXXX重新计算输出矢量,并计算本次(第i次)迭代所得结果的失真D(i)。步骤4如果两次迭代所得平均失真之差D(i1)D(i)相对而言足够小,迭代停止;否则,转到步骤2。第章信源编码理论 一旦选定了称为码本的输出矢量组k,1kL,每一个信号矢量X(m)就都量化成其中之一,使得以所用的失真量度衡量时,信号矢量与该点最近。
12、如果一一计算X(m)到L个可能的输出矢量k的距离,这个过程就是所谓的全搜索。设计算每一个距离需n次乘、加运算,则每一个输入矢量全搜索所需的乘加运算量为XX第章信源编码理论 C=nL(2.74)如果把L选成是2的幂次,lbL就是每一个矢量所需的比特数。如果用R表示每抽样(X(m)每分量或每维)的比特率,有nR=lbL,因此计算量是C=n2nR(2.75)注意,运算量随维数和每维的比特数R上升。第章信源编码理论 采用次优的算法可降低与全搜索相关的计算量。一个特别简单的办法是根据二进树搜索构造一个码本。二进树搜索用分级簇聚的方法分割n维空间,使搜索的运算量降低到正比于lbL。这种方法先用K均值(K=
13、2)算法将n维试验矢量分成两个区域,这样我们就得到了两个区域以及它们的重心,比如1和2。XX第章信源编码理论 下一步,采用K=2的K均值算法将落入第一个区域的点再分成两个区域,我们又得到两个重心,比如11和12。在第二个区域也这样做,得到另两个重心21和22。于是一个n维区域被分成了4个区域,每个区域都有相应的重心。重复这样的过程,直到将n维空间划分成L=2nR个区域,此处R是每码矢的比特数。对应的码矢可以被看成是二进树的终节点,如图2.10所示。XXXX第章信源编码理论 图 2.10用于二进搜索矢量量化的均匀树第章信源编码理论 二进树搜索的计算量是C=2n lbL=2n2R与全搜索中运算量成
14、指数关系上升相比,这种方法的运算量与R(每维的比特率)成线性关系。虽然运算量大大减少,然而存储(重心)矢量所需要的内存需从nL增加到2nL,因为我们现在除存储终节点矢量外,还必须存储中间节点矢量。第章信源编码理论 二进树搜索算法产生的是一棵“均匀树”。一般而言,这种方法所得码字与用全搜索方法所得码字相比具有较大的误差,从这个意义上说,这种方法产生的码本是次优的。如果能打破均匀树的限制,就有可能提高性能。特别地，如果能在过程的每一步把具有最大总误差的试验矢量簇划分开来,就能获得误差较小的码本。这样,我们第一步先把n维空间分成两个区域；第二步,选出具有较大误差的矢量簇(区域)并把它分割开,于是有了
15、3个矢量；第三步,从中再挑出最大误差的簇将它分开,于是成了4个簇;如此重复进行,最终的结果是获得了一棵非均匀码树,如图2.11所示。图中取L=7。注意,这里L可以不是2的幂次。第章信源编码理论 图 2.11用于二进搜索矢量量化的非均匀树第章信源编码理论【例例 2.4】令x1和x2是两个随机变量,具有均匀的联合概率密度函数:121(,)()0Cp x xPabXX其他(2.76)式中C是一个矩形区域,如图2.12所示。注意,该矩形相对于水平轴旋转了45。另外,边缘密度p(x1)和p(x2)示于图2.12。第章信源编码理论 图 2.12均匀联合概率密度函数第章信源编码理论 如果采用均匀的间隔长度分
16、别量化x1和x2,需要的电平数是122abLL(2-77)因此,对矢量X=x1 x2编码所需的比特数是 Rx=R1+R2=lbL1+lbL2=lb222)(ba(2-78)第章信源编码理论 这样,每个分量的标量量化相当于采用全部电平数的矢量量化:Lx=L1L2=(2.79)由此看到,这种途径相当于用许多正方形胞元顶盖一个能包围矩形区域的大正方形,这里的每个胞元代表Lx个量化区域之一。由于除XC外P(X)=0,所以这种编码很浪费,导致比特率增加。222)(ba 第章信源编码理论 如果用面积为2的小正方形仅仅覆盖P(X)0的区域,所需要的总电平数应是矩形面积除以2,即2xabL(2.80)因此,标
17、量量化和矢量量化比特率之差是22()lb2xxabRRab(2.81)第章信源编码理论 若a=4b,比特率之差是RxR x=1.64 bit/矢量这样,在失真相同的情况下,矢量量化比标量量化好0.82 bit/抽样。旋转45进行一次线性变换可以去除x1和x2的相关性,使这两个随机变量统计独立。这样一来,标量量化和矢量量化可取得同等的效率。虽然线性变换能够去除构成矢量的各随机变量之间的相关性,但它不是一般都能导致统计独立的随机变量。所以,矢量量化的性能总是等于或优于标量量化的性能。第章信源编码理论 矢量量化已经应用于几种语音编码方法,既有波形编码又有基于模型的编码,这部分内容将在下一节讨论。采用
18、模型基方法,比如LPC,矢量量化使得速率低于1000 b/s的语音编码成为可能。如果采用波形编码方法,有可能获得速率为16 kb/s的高质量的语音编码,相当于R=2 bit/抽样。如果增加计算复杂度,有可能获得速率为R=1 bit/抽样的高质量波形编码。第章信源编码理论 在过去的几十年中,已经开发出了许多模拟信源的编码技术,其中大部分已应用于语音和图像编码。为了方便起见,可进一步把模拟信源编码划分为三类。一类叫时域波形编码,在这类编码中,信源编码器设计成用数字表示信源波形的时域特性;第二种信源编码叫频域波形编码,信号波形分解成不同频谱的子带,在各子带内或对时间波形或对频率特征编码后再传输;第三
19、类编码是基于信源数学模型的编码,叫做模型基编码。第章信源编码理论 2.2时域波形编码时域波形编码模拟信源有多种可用来表达信号的时域特性的编码技术,下面介绍最常用的几种。2.2.1脉冲编码调制脉冲编码调制(PCM)令x(t)表示信源发出的样本函数,xn表示以抽样率fs2fm采得的样值,这里fm是x(t)频谱中的最高频率。在PCM中,每个信号样值量化成2R个幅度电平之一,R是样值量化后的二进制位数。于是,信源速率可表示成Rfs(单位为b/s)。第章信源编码理论 量化过程的数学模型为nnnxxq(2.82)式中:表示xn的量化值;qn代表量化误差,可把它当作加性噪声对待。假设采用一个具有图2.13所
20、示输入-输出特性的均匀量化器,其量化噪声从统计特性上看具有均匀分布的联合概率密度函数。nx 第章信源编码理论)2 2(1)(qqp(2.83)这里,量化步长=2R。量化误差的均方值是12212)(222RqE(2.84)如用分贝表示,噪声均方值是dB 8.106122lg1012lg1022RR(2.85)第章信源编码理论 图 2.13均匀量化器的输入输出特性第章信源编码理论 我们看到,量化噪声随量化器所用的比特数,以每比特6 dB的斜率下降。举例来说,7比特的量化器导致52.8 dB的量化噪声。许多信源信号,比如语音波形,小幅度信号的发生概率大于大幅度信号。然而在均匀量化器的整个信号动态范围
21、内,各电平具有相等的间隔大小,量化误差一样,这样对于小信号不利。更好的方法是采用非均匀量化器。要获得非均匀量化特性,通常是先让信号通过一个非线性设备对幅度进行压缩,再送入后面的均匀量化器。例如,一个对数压缩器具有如下形式的输入-输出幅度特性:第章信源编码理论 101 ln11 ln11 lnAxxAxAyAxxAA(2-86)式中:x是输入的幅值;y是输出的幅值;A是用来选择压缩特性的参数。图2.14给出了几种不同A值下的压缩关系曲线,A=1的曲线相当于没有压缩。第章信源编码理论 图 2.14A律压缩器的输入-输出幅度特性第章信源编码理论 取A的值为A=87.6,在小信号时,信噪比改善约24
22、dB。在美国和加拿大的语音波形编码标准中,采用如下形式的输入-输出幅度特性:lg(1)lg(1)xy(2-87)式中:|x|1是输入的幅值;|y|是输出的幅值;是用来选择压缩特性的参数。图2.15给出了几种不同值下的压缩关系曲线,=0的曲线相当于没有压缩。第章信源编码理论 图 2.15律压缩器的输入输出幅度特性第章信源编码理论 取的值为=255。这个值与均匀量化器相比,量化噪声功率减小约24 dB。结果,一个=255的对数压缩器接一个7比特的量化器后,产生的量化噪声功率约为77 dB,而接7比特均匀量化器后产生的量化噪声功率为53 dB。从量化值恢复原信号值时,采用与对数相反的关系来扩张信号幅
23、度。压缩器-扩张器的组合称做压扩器。第章信源编码理论 2.2.2差分脉冲编码调制差分脉冲编码调制(DPCM)在PCM中,每个波形样值都独立编码,与其他样值无关。然而,大多数以奈奎斯特或更高速率抽样的信源信号在相邻样值间表现出很强的相关性。换言之,相邻样值间幅度的平均变化相对较小。因此,利用样值间的这种冗余度的编码方案将导致较低比特率的信源输出。第章信源编码理论 一种比较简单的解决办法是对相邻样值的差值而不是对样值本身编码。由于样值的差比样值本身小,因此可以用较少的比特数表示差值。基于这种思路的一个好办法是根据前面的p个样值预测当前的样值,即令xn代表当前的信源样值,用代表xn的预测值,定义为n
24、x nx 1pnin iixa x(2.88)第章信源编码理论 这里的其实是过去p个样值的加权线性组合,ai是预测器系数。ai应选择得能使和xn在某种误差准则下最小化。从数学上和实践上讲都比较方便的一种误差函数是均方误差(MSE)。以MSE作为预测器的性能指数,选择ai使下列目标函数最小化:nx nx 第章信源编码理论 2221111()()()2()()pppppnnin ininn iijn injiiijE eE xa xE xa E x xa a E xxE2221111()()()2()()pppppnnin ininn iijn injiiijE eE xa xE xa E x x
25、aa E xxE(2.89)假设信源输出是(广义)平稳的,可将式(2.89)表示为111(0)2()()ppppiijiijaia aijE(2.90)第章信源编码理论 式中,(m)是抽样信号序列xn的自相关函数。与最小化Ep对应的预测系数ai导致一组线性方程1()()(1,2,)piiaijjjp(2.91)于是预测器系数值可求。如果事先不知道自相关函数(m),可以通过样值xn利用下列关系式来估算:第章信源编码理论 11()(0,1,2,)N nii ninx xnpN(2-92)将估值 代入式(2.91)即可解出系数ai。注意,将代入式(2.91),式(2.92)中的归一化因子1/N应删去
26、。式(2.92)仅是实践中常用的一种估算方法。式(2.91)中求预测系数用的线性方程称做正态方程,也叫尤勒-沃克(YuleWalker)方程。由莱文森和杜宾提出的一种算法能有效地求解这个方程。()n()n第章信源编码理论 描述了预测器系数的确定方法后,下面考虑一个实际的DPCM系统框图,见图2.16(a)。在这种结构中,预测器置于围绕量化器的反馈环里。预测器的输入记做,代表经量化处理后的信号抽样xn的修正值。预测器的输出是nx 1pnin iixa x(2-93)差值nnnexx(2-94)第章信源编码理论 nx 在接收端装有与发送端相同的预测器,它的输出与相加产生。信号既是所要求的预测器激励
27、信号,也是所要求的输出序列,该序列经滤波后即可恢复所要求的信号,如图2.16(b)所示。nx ne nx nx()x t作为量化器输入,代表量化器输出。量化后的每个预测误差值编码成二进制数字序列,通过信道传送到目的地。该误差同时被加到本地预测值而得到值。ne ne nx ne 第章信源编码理论 图 2.16DPCM编码器和解码器第章信源编码理论 围绕上述量化器采用的反馈环能确保的误差就是量化误差,保证在解码器执行时不存在以前的量化误差的累积,即nx nnnqee()nnnnnnnnqeeexxxx(2-95)这里。这意味着量化后的样值 与输入xn相差一个量化误差qn,它与所用预测器无关。所以,
28、量化误差不积累。nnnxxqnx 第章信源编码理论 在图2.16所示的DPCM系统中,信号抽样的估值xn或预测值是从一组过去的值 的线性组合中得出的,如式(2.93)。通过对量化误差的这组过去值线性滤波,可以改善估值的质量。具体地说,估值可以表达为nx(1,2,)n kxkpnx 11pmnin iin iiixa xbe(2.96)第章信源编码理论 式中,bi是用来对量化误差序列进行滤波的滤波器系数。在发送器和接收机解码器里所用的编码器的框图如图2.17所示。两组系数ai和bi的选择应使误差的某种函数(如均方误差函数)最小化。ne nnnexx 第章信源编码理论 图 2.17对误差序列增加线
29、性滤波后改进的DPCM第章信源编码理论 2.2.3自适应差分脉冲编码调制自适应差分脉冲编码调制(ADPCM)许多实际信源具有准平稳属性,准平稳的特点是信源输出方差和自相关函数随时间缓慢变化。然而,PCM和DPCM编码器是以信源输出的平稳性为基础设计的,如能使它们适应信源缓慢的时变统计特性,就可以改善编码器的效率和性能。第章信源编码理论 无论是PCM还是DPCM,工作在准平稳输入信号下的均匀量化器,其量化误差qn将具有时变的方差(量化噪声功率)。减小量化噪声动态范围的一种改进方法是采用自适应量化器。尽管有很多方法可使量化器具有自适应性,但相对比较简单的方法是使用一种均匀量化器,它能根据过去一组信
30、号样值的方差来改变量化步长的大小。第章信源编码理论 例如,从输入序列xn可以计算出xn方差的短时估值,以此估值为依据可调整步长。步长调整算法最简单的形式是仅根据前面的一个样值来调整,1974年贾扬特将这种算法成功地运用于语音信号的编码当中。图2.18给出了这样一个3比特量化器,该量化器根据下述递推公式不断地调整步长:第章信源编码理论 n+1=nM(n)(2.97)式中:M(n)是一个因子,它的值取决于样值xn在量化器中的电平;n是量化器在处理xn时所用的步长。对于语音编码而言,最佳的乘积因子取值已给出。这些值列于表2.11,用于2,3,4比特的自适应量化。第章信源编码理论 图 2.18自适应步
31、长量化器的例子第章信源编码理论 第章信源编码理论 当信源输出准平稳时,DPCM的预测器可做成自适应的。预测器系数可以周期地改变,从而反映信源信号统计特性的变化。式(2.91)给出的线性方程仍然可用,只是用xn自相关函数的短时估值代替总体相关函数。这样,确定的预测系数可与量化噪声一起发送给接收器,它装有同样的预测器,不足的是预测系数的传输将导致信道上较高的比特速率。作为部分回报,由于自适应预测使误差en的动态范围减小,量化器可用较少的比特数(较少电平数)来处理,以取得较低的数据速率。ne 第章信源编码理论 另外，还可以令接收端的预测器从和中自己计算预测系数,这里ne nx 1pnnin iixe
32、a x(2-98)如果忽略量化噪声,那么等于xn。因此,可用来在接收端估算自相关函数(n),计算结果可替代式(2.91)中的(n)来求解预测系数。只要量化足够好,和xn相差非常小。因此,从 中获得的估值(n)通常可以用来决定预测系数。采用这种方式后,自适应预测器可使信源数据速率降低。nx nx nx nx 第章信源编码理论 如果不采用上述以数据块为基础的处理方法来计算预测系数ai,也可使用梯度类方法,以逐个抽样为基础调整预测系数,从形式上看类似于自适应梯度均衡算法。还可以采用其他梯度类算法来调节图2.17所示DPCM系统的滤波器系数ai和bi。第章信源编码理论 2.2.4增量调制增量调制(M)
33、增量调制可以看成是DPCM的一种简化形式。在这种方式下,采用2电平(1比特)量化器,配以固定的一阶预测器。DM编/解码器的方框图如图2.19(a)所示。我们注意到111nnnnxxxe(2-99)第章信源编码理论 由于()nnnnnnqeeexx可得11nnnxxq这样,xn的(预测值正是前一个抽样值xn1加上量化误差qn1后的修正值。同时,式(2.99)的差分方程实质上代表一个对输入的积分器。ne 第章信源编码理论 因此,这种单步预测器等效的实现方法是采用一个累加器,令其输入信号为量化误差信号。一般地,这个量化误差信号可用某个值来标定,比如说步长1,这种等效的实现方法如图2.19(b)所示。
34、实际上,图2.19(b)所示的编码器产生一个近似于线性阶梯函数的波形x(t)。为了得到相对较好的近似,波形x(t)的变化相对于抽样速率而言必须比较慢,这意味着抽样速率必须几倍(至少5倍)于奈奎斯特速率。ne 第章信源编码理论 图 2.19增量调制系统及等效实现第章信源编码理论 对于任何给定的抽样速率,DM编码器的性能受到两类失真的限制,如图2.20所示,一种称为斜率过载失真,它是由于所用的步长太小,跟不上波形中的斜率陡峭部分的变化速度而造成的;第二类失真叫颗粒失真,是由于所用的步长太大,在波形中的斜率较小部分产生的。在选择步长1时,使两类失真最小化的要求是相互矛盾的,解决办法之一是选择1使得两
35、种失真的均方值之和最小。第章信源编码理论 图 2.20斜率过载失真和颗粒失真第章信源编码理论 即使1被优化而使斜率过载失真和颗粒失真两者总的均方值达到最小,DM编码器的性能可能仍然不满意。另有一种解决办法是采用可变步长,使其适应信源信号的短时特性,也就是说,当波形具有陡峭斜率时使步长增大,当波形斜率相对较小时使步长减小,如图2.21所示。第章信源编码理论 图 2.21增量调制编码中的可变步长第章信源编码理论 在迭代中,有许多方法可用来自适应地调整步长。量化误差序列可以为被编码波形的斜率特性提供很好的提示。在接连的两次迭代中,如果量化误差改变了符号,说明这部分波形的斜率相对较小;反之,如果波形斜
36、率陡峭,则很可能连续一串误差值有相同的符号。从上述可知,根据的前后值可以得出增大或减小步长的某些算法。贾扬特(1970年)推导了一种相对简单的规则,可根据如下关系式自适应地改变步长:ne ne ne 第章信源编码理论 11(1,2,)n ne ennKn 式中K1是一个常数,应选择它使得整个失真最小化。与这种自适应算法对应的DM编/解码器的框图如图2.22所示。PCM、DPCM、自适应DPCM和DM均属信源编码技术,它们都力图可靠地表示信源输出的波形。第章信源编码理论 图 2.22具有自适应步长的增量调制系统第章信源编码理论 2.3频域波形编码频域波形编码2.3.1子带编码子带编码(SBC)在
37、语音和图像信号的子带编码(SBC)中,信号被分解为几个子带,然后分别对各子带的时域波形编码。例如在语音编码中,低频端的子带含有语音的大部分能量谱,而且人耳对低频子带的量化噪声更敏感。因此,低频端子带的信号需用较多比特数,而高频端子带的信号仅用较少比特数。第章信源编码理论 SBC性能与滤波器的设计联系紧密,实用中,一般采取正交镜像滤波器(QMF),因为该滤波器具有完美的信号重构特性,能产生无混叠的响应。在子带编码中,可使用QMF将子带再次两分频为更小的子带,这样可形成8子带的滤波器。为了降低抽样速率,每个QMF滤波器的输出频带需减半。第章信源编码理论 例如,假设语音信号带宽为3200 Hz,第一
38、对QMF把频谱划分成低频带(01600 Hz)和高频带(16003200 Hz),低频子带又被另一对QMF分割成低(0800 Hz)和高8001600 Hz)两个子带,接着又有一对QMF作第三次分割,把800 Hz带宽分成低(0400 Hz)和高(400800 Hz)两个子带。这样,共采用3对QMF,就获得了频带为0400 Hz、400800 Hz、8001600 Hz和16003200 Hz的信号,可以采用不同的精度对每个子带的时域信号进行编码。在实践中,多采用自适应脉冲编码调制(APCM)对各子带信号进行波形编码。第章信源编码理论 2.3.2自适应变换编码自适应变换编码(ATC)在自适应变
39、换编码(ATC)中,信源信号时域采样后每Nf个样值组成一帧,每帧数据被变换到频域,再进行编码和传输。在信源解码处,每帧频域数据变换成时域样值,各帧样值再合并成全信号,最后通过一个D/A转换器输出。为了取得编码效益,给比较重要的频谱系数指配较多比特数,对相对不重要的频谱系数指配较少比特数。另外,若在把总比特数指配给各频谱系数时设计一种自适应的分配方法,就能够适应信源信号统计特性可能的变化。第章信源编码理论 从时域变换到频域的目的是为了得到去相关的频域抽样。从这个意义上说,卡亨南洛厄夫(Karhunen-Loeve)变换(KLT)是最优的,因为它产生的频谱值不相关,但是KLT一般难以计算。离散傅氏
40、变换(DFT)和离散余弦变换(DCT)是行之有效的替代方法,尽管它们是次优的。两者中,ACT具有较好的性能,实践中常采用。在使用ATC的语音编码中,可能得到速率为9600 b/s通信质量的语音。第章信源编码理论 2.4参参 数数 编编 码码2.4.1语音产生过程的物理模型根据对发音器官的构造和声音产生的机理的分析,可以得到图2.23所示的语音产生的机械、电路模型以及激励的功率谱和滤波器的频率响应特性。第章信源编码理论 图 2.23语音产生过程的机械和电路模型第章信源编码理论 整个发音过程可分为两个步骤来建立模型。第一步为激励。由横膈膜压迫肺部产生气流,通过声带振动产生周期性的有声音或由湍流产生
41、无声音。因此,功率源包括横膈膜和肺部气室的作用,可由直流电源或交直流变换器模拟。激励部分包括气管、咽喉、声带的作用,可用周期性信号源、噪声源及转换开关模拟。第二步为响应。由舌、唇、齿等口部器官来控制口、鼻腔构成的时变有损谐振器,产生不同的频率响应,可由线性时变滤波器来模拟。激励信号有声音的为离散频谱,无声音的频谱则为均匀的白噪声频谱。时变滤波器的频率响应为有多个谐振峰的曲线。该模型是进行语音编码的基础。第章信源编码理论 由语音产生过程的物理模型可以看出,决定语音的特征参数有:基音、共振峰频率和强度,以及清音(声带不振动)/浊音(声带振动)判决。发端只需传送这些特征值到收端,收端即可根据这些参数
42、合成语音信号,而不需传送整个语音信号波形。由于传送这些特征参数所需比特数大大低于传送波形抽样值的比特数,编码的比特率可以大大降低，从而大大压缩编码速率。当然,由于采用低码率编码,只传送了主要特征参数,只能保持语音的可懂度,而失去了自然度,即是以牺牲一定音质为代价的。所以,我们只能在保持一定音质的前提下,尽可能降低数码率。第章信源编码理论 2.4.2线性预测编码线性预测编码(LPC)线性预测分析法可以十分精确地估计语音参数,而且计算速度快,获得了广泛的应用。线性预测是指一个语音抽样值可用该样值以前若干语音抽样值的线性组合来逼近。如果使二者差值的平方和达到最小,则可以决定惟一的一组预测器的加权参数
43、。图2.24为语音产生模型的简化方框图。第章信源编码理论 图 2.24语音产生模型简化框图第章信源编码理论 浊音由周期性脉冲串激励产生,清音由随机噪声激励产生,在运行中由浊音/清音判别来转换开关。由输入的声道参数控制时变数字滤波器的频率响应。这一简化模型的参数有:浊音的基音周期,清/浊音分类,增益参数G和数字滤波器的加权系数ak。这些参数只随时间缓慢变化。图2.25(a)为线性预测器(开关位置1)或倒转滤波器(开关位置2);图2.25(b)为合成滤波器方框图。第章信源编码理论 图 2.25线性预测器第章信源编码理论 应用上述线性预测的分析与合成方法的语音编码,称为语音的线性预测编码(LPC)。
44、其原理图见图2.26。图 2.26线性预测编/解码原理框图第章信源编码理论 图中,当N个抽头的LPC滤波系数由系数计算器用优化算法周期性地计算得出时,预测结果很好，发端不需要传预测误差到收端，此时只需将滤波器的系数和清/浊音判断信号送到收端。因此LPC只传送高质量的经典自适应算法的信息数据,从而实现了低码率的语音编码。其基本原理为:输入语音抽样值X(n)经N抽头的LPC滤波器的线性组合得到其估计值。两者相减得出误差信号rn,并用系数计算器不断根据误差平方值最小准则来修正LPC滤波器系数，以使rn最小。)(nX第章信源编码理论 另外,X(n)经激励计算器计算,用其进行清/浊音判决。编码器每隔20
45、 ms传送一次N抽头滤波系数和激励判决参数。解码器用收到的系数控制N抽头LPC滤波器的系数,并用激励判决参数去控制清/浊音判决,从而合成出输出语音。由于信道上只传送少数参数,大大降低了数码率,但却付出了使恢复的失去了X(n)原来的自然度的代价。)(nX)(nX第章信源编码理论 2.4.3长期预测的规则码激励长期预测的规则码激励(RPECD*2LTP)的的LPC编编/解码器解码器上述LPC编/解码能够在保证一定可懂度的情况下使数码率降低到2.44.8 kb/s。但也存在一些缺点,如损失了语音的自然度,减少了搞干扰的能力,谱包络的估值可产生很大的失真。产生这些缺点的原因主要是LPC未将发端的余数(
46、误差)信号送到收端。因而改善LPC的主要方法是从改善激励入手。第章信源编码理论 常用的改善措施有两种：(1)采用较复杂的激励模型代替简单的清/浊音判决模型。(2)利用一部分余数信息。以上两种改善措施都能提高自然度,但不可避免地要增加一定的数码率。下面着重介绍第一类改善措施。第章信源编码理论 图2.27为几种不同的激励语音合成模型的简化方框图。图2.27(a)为一般的LPC声码器;图2.27(b)为多脉冲激励线性预测编码(MP-LPC),它使用一个数目有限、幅度和位置可以调整的脉冲序列作为激励源；图2.27(c)为码激励线性预测编码(CELP),它使用一个波形的码矢量作为激励源。第章信源编码理论
47、 图 2.27 不同激励语音合成模型简化框图第章信源编码理论 图2.27(b)、(c)所示的两种方法的共同特点是都避免了清/浊音判决及基音提取。图中的相关滤波器即合成滤波器,长时延相关滤波器用来产生浊音的音调结构,而短时延相关滤波器用来恢复语音的短时频谱包络。由于这两种方法都是在发端引入了合成语音装置,用合成来引导分析,故又称为合成/分析法。MPLPC和CELP都是根据合成语音与输入语音的误差经听觉加权后最小准则来确定的,虽然激励信号的引入要增加传输的数码率,但可显著提高合成语音的质量。第章信源编码理论 图2.28(a)为合成/分析编码器原理方框图。图2.28(b)为多脉冲激励的LPC编码器(
48、MP-LPC)所产生的一定位置和幅度的脉冲序列，由它来激励声道。声道由长时延及短时延相关滤波器来模拟,从而合成语音。合成语音与输入的原始语音比较输出误差信号。此客观误差信号经主观感觉加权后按均方误差最小准则去搜索、比较及确定脉冲序列的位置和幅度，并将这些参数和两个合成滤波器的参数一起编码后送到收端,收端根据这些参数合成误差最小的语音。第章信源编码理论 MP-LPC可在10 ms内用8个脉冲,最终用9.616 kb/s的数码率获得较高质量的合成语音。由于这种方法需要逐个确定脉冲的幅度和位置,致使运算量大。为减少运算量可采用图2.28(c)所示的规则脉冲序列的LPC编码RPE-LTP),脉冲序列各
49、脉冲相对位置不变,只有幅度可变化,计算量要小很多。此时在5 ms内用10个脉冲即可。对于每帧语音信号分别用不同起始位置的脉冲序列激励语音合成模型,并用不同的k值表示得到合成语音。然后求出不同k值下激励脉冲幅值,以使各k值下感知加权误差最小的k值所对应的脉冲序列作为激励信号。RPE-LTP线性预测编码在9.6 kb/s数码率上,k=4时可获得较高质量的语音。第章信源编码理论 图 2.28几种合成/分析编码器原理框图及产生的脉冲序列第章信源编码理论 目前,GSM系统就是采用RPE0-LTP的线性预测编码方式。它在13 kb/s码上可得到相当好的语音编码质量,主观评分为3.8。同时抗误码性能也较好,
50、在不加任何纠错措施的情况下,对于10-3误码,编/解码质量基本不下降。加纠错后,总比特率为22.8 kb/s、误码率为10-1的情况下,语音质量下降不多。它采用了分帧处理,编/解码延时约为30 ms。第章信源编码理论 2.4.4码激励线性预测编码码激励线性预测编码(CELP)在图2.27(c)中改善LPC的一种方案为码本激励线性预测编码(CELP),它对余量的处理方法不同,采用矢量量化的方法。图2.29为CELP的基本原理方框图。与图2.28所示原理方框图相比较,除激励部分不同外,其他部分都是一样的。在激励部分以N个样值为一组,构成一个N维矢量,用一个码字代表,若干个码字组成一定尺寸的码本,收
