信号处理全册配套最完整精品课件1.ppt

1、信号处理全册配套最完整信号处理全册配套最完整 精品课件精品课件1 现代数字信号处理 第二章 维纳滤波 nx ns nv 真实信号 观察/测量数据 加性噪声/干扰 i s nx nh nh i x n i nsnsne 线性估计线性估计问题 最小均方误差(MMSE)估计 (minimum mean-square error) 估计误差 2 minnE e nh n 2.1 维纳滤波问题描述 维纳滤波-对真实信号的最小均方误差估计问题. 1 2 1 0 0321 0012 0001 0000 1 2 1 0 Nx x x x hNhNhNh hhh hh h Ns s s s 1, 1, 0, 0

2、 Nninxihns n i 问题在于估计滤波器的参数/单位冲激响应序列 正交正交方程方程 : jjnxneE jjnxneE jh ne neE jh n ,0 , 1, 0,022 标准方程标准方程 (Wiener-Hopf equations): autocorrelation sequence of cross-correlation sequence of and xx sx RmiE x ni x nmx n RmE s n x nms nx n 维纳-霍夫（Wiener-Hopf）/标准标准方程 , sxxx i Rmh i Rmim i s nx nh nh i x n i n

3、snsne 2 minnE e nh n 任何时刻的估计误差都与用于估计的所有数据（即滤波器的输入） 正交 注意: A data-dependant linear least square error estimation Wiener-Hopf equation - solutions Orthogonal equation - decorrelation Wiener Filters 下标i的取值范围决定了FIR,非因果IIR，因果IIR i s nx nh nh i x n i T T Nnxnxnxn Nhhh 11 110 x h FIR (Finite Impulse Respon

4、se) Wiener Filter 2.2 求解求解 Wiener-Hopf Equations -FIR滤波器滤波器 s n n T h x 1 2 1 0 0321 3012 2101 1210 1 2 1 0 1, 1, 0, 1 0 Nh h h h RNRNRNR NRRRR NRRRR NRRRR NR R R R NmimRihmR xxxxxxxx xxxxxxxx xxxxxxxx xxxxxxxx sx sx sx sx N i xxsx nnsE NR R R R sx sx sx sx x P 1 2 1 0 nnE RNRNRNR NRRRR NRRRR NRRRR

5、T xxxxxxxx xxxxxxxx xxxxxxxx xxxxxxxx xx R 0321 3012 2101 1210 RhPRhP TT or 维纳维纳-霍夫方程霍夫方程 展开为矩阵形式展开为矩阵形式 Solution: nnnEnnsEnnnsxxxxxRPxh PRh TT1TT 1 opt 1 FIR维纳滤波器结构 Wiener Filters ( )s m ( )x m (1)x m (2)x m(1)x m p ( )s m 1 xx xs w R P 标准方程标准方程 : dzzzH j nh zS zS zH zSzHzS n optopt xx sx opt xxopt

6、sx 1 2 1 mimRihmR i xxsx , 2.3 求解求解 Wiener-Hopf Equations -非因果非因果 IIR滤波器滤波器 Solution : 2.4 求解求解 Wiener-Hopf Equations -因果因果 IIR滤波器滤波器 标准方程标准方程 : 0, 0 mimRihmR i xxsx zA nw nv zB1 zG n s n nx ns Whitening filter Optimum causal filter for white input 将IIR滤波器分解为两部分 1 ( )( ) ( ) H zG z B z 第一部分为白化滤波器（将输

7、入信号变为白噪声） 第二部分为以白噪声为激励的最优因果滤波器。 polynomils phase minimum areboth and , 12 zDzN zD zN zB zBzBzSxx 功率谱分解定理 is causal and optimal zG zSzG s 2 1 i inxifn zG zB zHc 1 2.5 .因果维纳因果维纳IIR滤波器滤波器 -具有有理功率谱的输入信号具有有理功率谱的输入信号 12 1 zB zS zB zH sx c 12 1 1 1 zB zS zG zB zS zSzFzS mRmfimRif inxifmnsE nmnsEmR sx sx sx

8、s sx i sx i s 计算步骤计算步骤 (1) 因式分解（谱分解定理） 因式分解（谱分解定理） (2) 分解为因果部分和非因果部分 分解为因果部分和非因果部分 111 zB zS zB zS zB zS sxsxsx (3) 计算系统函数 计算系统函数 2 1 111 G(z)= sx c Sz Hz B zB zB z (4) 计算冲激响应（逆 计算冲激响应（逆Z变换）变换） 12 zBzBzS xx (5) 计算最小均方误差 计算最小均方误差 dzzzSzHzS j n cuxsoptss 1 .min 2 1 第三章 卡尔曼滤波 （The Kalman filtering） 第一节

9、卡尔曼滤波信号模型 第二节 卡尔曼滤波方法 第三节 卡尔曼滤波的应用 1、信号模型信号模型 状态方程和量测方程状态方程和量测方程 维纳滤波的模型：信号可以认为是维纳滤波的模型：信号可以认为是 由白噪声激励一个线性系统的由白噪声激励一个线性系统的 响应，假设响应和激励的时域关系可以响应，假设响应和激励的时域关系可以 用下式表示：用下式表示： (6-52) 上式也就是一阶上式也就是一阶AR模型。模型。 )(ns )( 1 nw)(zA ) 1() 1()( 1 nwnasns 在卡尔曼滤波中信号被称为是状态 变量，用矢量的形式表示为，激励 信号也用矢量表示为，激励和 响应之间的关系用传递矩阵来表示

10、， 得出状态方程： (6-53) 上式表示的含义就是在k时刻的状态 可以由它的前一个时刻的状态来 求得，即认为k1时刻以前的各状态都 已记忆在状态中了 )(ns S(k) )( 1 nw(k)w 1 A(k) 1)(kw1)A(k)S(kS(k) 1 S(k) 1)S(k 1)S(k 卡尔曼滤波是根据系统的量测数据（即 观测数据）对系统的运动进行估计的， 所以除了状态方程之外，还需要量测方 程。 在卡尔曼滤波中，用表示量测到的信号 矢量序列，表示量测时引入的误差矢量， 则量测矢量与状态矢量之间的关系可以 写成 (6-54) w(k)S(k)X(k) 上式和维纳滤波的概念上是一致的，也 就是说卡

11、尔曼滤波的一维信号模型和维 纳滤波的信号模型是一致的。 把式(6-55)推广就得到更普遍的多维量测 方程 (6-55) 上式中的称为量测矩阵，它的引入原因 是，量测矢量的维数不一定与状态矢量 的维数相同，因为我们不一定能观测到 所有需要的状态参数。 w(k)S(k)X(k) w(k)C(k)S(k)X(k) 信号模型信号模型 根据状态方程 和量测方程，卡 尔曼滤波的信号模型，如图6.12所示。 图6.12 卡尔曼滤波的信号模型 1)(kw1)A(k)S(kS(k) 1 w(k)C(k)S(k)X(k) S(k) C(k) 1)A(k 1 z w(k) (k)w1 X(k) 1)S(k 2、卡尔

12、曼滤波方法卡尔曼滤波方法 （The method of Kalman filtering） 卡尔曼滤波的一步递推法模型卡尔曼滤波的一步递推法模型 把状态方程和量测方程重新给出：把状态方程和量测方程重新给出： (6-56) (6-57) 假设信号的上一个估计值已知， 现在的问题就是如何来求当前时刻的 估计值。 1)(kw1)A(k)S(kS(k) 1 w(k)C(k)S(k)X(k) 1)(kS (k)S 用上两式得到的和分别用和表示，得： (6-58) (6-59) 必然，观测值和估计值之间有 误差，它们之间的差称为新息 （innovation）： (6-60) 显然，新息的产生是由于我们前面

13、忽略 了与所引起的 1)(kSA(k)(k)S 1)(kSC(k)A(k)(k)SC(k)(k)X X(k)(k) X (k)X (k)XX(k)(k)X (k)w1 w(k) 用新息乘以一个修正矩阵，用 它来代替式（656）的来对进 行估计： (6-61) 由（656）（661）可以画出卡尔 曼滤波对进行估计的递推模型，如 图6.13所示 (k)X H(k) (k)w 1 S(k) (k)XH(k)1)(kSA(k)(k)S 1)(kSC(k)A(k)H(K)X(k)1)(kSA(k) S(k) 输入为观测值，输出为信号估计值 。 图1 卡尔曼滤波的一步递推法模型 X(k) (k)S (k)

14、S C(k) A(k) 1 z X(k) 1)(kS H(k) (k) X (k)X 卡尔曼滤波的递推公式卡尔曼滤波的递推公式 从图1容易看出，要估计出就必须要 先找到最小均方误差下的修正矩阵 ，结合式（661）、（656）、 （657）得： (6-62) 根据上式来求最小均方误差下的，然后把 求到的代入（661）则可以得到估计值 。 (k)S H(k) 1)(kSC(k)A(k)w(k)(k)H(K)C(k)S1)(kSA(k)(k)S 1)(kSC(k)A(k)w(k)1)(kw1)(kSA(k)H(K)C(k)1)(kSA(k) 1 H(k)w(k)1)(kw1)(kS(k)H(K)C(

15、k)AH(k)C(k)1)I(kSA(k) 1 H(k) H(k) (k)S 设真值和估计值之间的误差为： 误差是个矢量，因而均方误差是一个矩 阵，用表示。把式（662）代入得 (6-63) 均方误差矩阵： (6-64) 表示对向量取共轭转置。 (k)SS(k)(k)S (k) (k)SS(k)(k)S H(k)w(k)1)(kw1)(kS1)A(k)S(kH(K)C(k)I 1 (k)S(k)SE(k) 为了计算方便，令 (6-65) 找到和均方误差矩阵的关系： (6-66) 把式（663）代入式（664），最后 化简得： (k)S(k)(S(k)SE(S(k)(k) 1)(kSA(k)1)

16、(kw1)k1)(A(k)S(kSA(k)1)(kw1)E(A(k)S(k(k) 11 1)(k1)w(kEwA(k)1)(kS1)1)(S(k(kS1)A(k)ES(k 11 1)Q(k1)A(k)A(k)(k (k)S(k)SE(k) k)H(k)R(k)H(H(k)C(k)1)IQ(k1)A(k)A(k)(kH(K)C(k)I 把式（666）代入（667）得 令， 代入上式化简： (6-68) 要使得均方误差最小，则必须 (k) k)H(k)R(k)H(H(k)C(k)(k)IH(K)C(k)I R(k)H(k)(k)C(k)H(k)C(k)H(k)(k)C(k)(k)H(K)C(k)(

17、k) SSR(k)(k)C(k)C(k) (k)C(k)U (k) H(k)H(k)SSUH(k)H(K)U(k) 111 )U(SH(k)S)U(SH(k)SU)U(SS(k) 0 1 )U(SH(k)S 求得最小均方误差下的修正矩阵为： (6-69) 把上式代入(6-61)即可得均方误差最小条 件下的递推公式。 最小均方误差为： (6-70) 1 R(k)(k)C(k)C(k)(k)C(k)H(k) (k)S (k) 1 U)U(SS(k) (k)H(k)C(k)I 综上所述，得到卡尔曼滤波的一步递推 公式： (6-71) (6-72) (6-73) (6-74) (k) 1)Q(k1)A

18、(k)A(k)(k 1 R(k)(k)C(k)C(k)(k)C(k)H(k) (k)(k)H(k)C(k)I (k)S 1)(kSC(k)A(k)H(K)X(k)1)(kSA(k) 【例】设卡尔曼滤波中量测方程为 已知信号的自相关函数的z 变换为，噪声 的自相关函数为，信号和噪 声统计独立，已知在k0 时刻开始观测信号。试用卡尔曼滤波的 公式求和，k0,1,2,3,4,5,6,7； 以及稳态时的和。 解：由例6-6的结果知， w(k)S(k)X(k) 25. 18 . 0 , )8 . 01)(8 . 01 ( 36. 0 )( 1 z zz zR ss )()(mmRww 1)0(, 0)

19、1( S (k)S (k) (k)S (k) 8 . 0A(k)1C(k) 36. 0 2 1 w Q(k)1)(var(kwR(k) 把上式代入式(6-71) (6-74)得 （1） （2） （3） （4） 求逆 把（1）代入（2）、（3）式，消去，再 把（2）和（3）联立，得到 （5） (k) 36. 064. 01)(k 1 (k)(k)H(k) 1 (k)(k)H(k) 1 (k)S 1)(kSH(K)X(k)1)(kS 8 . 0 8 . 0 1 (k)(k)H(k)1(k) (k)1/ (k) H(k) 1.361)(k 0.361)(k (k) 64. 0 64. 0 初始条件为

20、，k0开始观 测，利用等式（4），（5）进行递推得： k0，1.0000，1.0000， k1，0.5000，0.5000， k2，0.4048，0.4048， k3，0.3824，0.3824， k4，0.3768，0.3768， k5，0.3755，0.3755， k6，0.3751，0.3751， k7，0.3750，0.3750， 上面是递推过程，还没有达到稳态的情况。 1)0(, 0) 1( S )0()0(H )0(0 X)(S ) 1 (）（ 1H) 1 (5 . 0) 0 ( 4 . 01 XS)( S )2( )2(H ) 2(4048. 0) 1 ( 4762. 02 XS

21、)(S )3()3(H ) 3 (3824. 0) 2( 4941. 03 XS)(S )4( )4(H ) 4 (3768. 0) 3 ( 4985. 04 XS)( S )5()5(H ) 5 (3755. 0) 4 ( 4996. 05 XS)( S )6()6(H) 6(3751. 0) 5 ( 4999. 06 XS)(S )7()7(H ) 7 (3750. 0) 6 ( 5000. 07 XS)( S 假设到了某一时刻k1，前后时刻的均方误差 相等，也就是误差不再随着递推增加而下降， 达到最小的均方误差了，即稳态情况，式（5） 中的误差代入（5）式可以计算 到稳态时的均方误差为：

22、即稳 态时的修正矩阵，代入式4得稳态 时的信号估计： 化到z域有：。 ) 1()(kk 375. 0) 1()(kk 375. 0)(kH X(k)1)(kS375. 0 5 . 0(k)S )(zH 1 5 . 01 375. 0 z 卡尔曼滤波器的应用卡尔曼滤波器的应用 (Application Kalman filter) 【例】已知条件和例62一样，状态方 程和测量方程为： 其中 ， 信号和 噪声统计独立。求卡尔曼滤波器的稳 态 和 。 1)(kw1)A(k)S(kS(k) 1 w(k)C(k)S(k)X(k) 8 . 0A 1C 36. 0 2 1 w Q(k) 1)(var(kwR

23、(k) H(k)(k) 解：根据函数调用sysss（A，B，C，D，1），得到 离散卡尔曼状态模型，采样周期这里设为1。A，C已 知，由于函数调用中是设计了两个观测信号的，我们 这里只有一个观测信号，所以B取0 1，后一个1表示 噪声 的系数。D取0。实际的语句如下： sys=ss(A,B,C,D,1) 然后调用函数S，L，H，kalman（sys，Q，R）， 设计离散卡尔曼滤波器。实际语句和计算结果如下： s，l，h，=kalman(sys,0.36,1) l =0.3000 =0.6000 h =0.3750 =0.3750 这里省略了输出的S，它表示的信息是达到稳态后系统 状态模型，H和

24、 表示系统稳态的最终值 ) 1( 1 kw 有了修正矩阵和均方误差，代入式（6 74）就可以根据观测信号得到卡尔曼滤 波的估计值了。 从上面例题知道，只要确定了状态模型， 就可以调用函数很快设计出卡尔曼滤波 器，下面来看看卡尔曼滤波器在生物医 学信号中的应用。 在生物医学信号处理中脑电图的肌电伪 迹和其它噪声的消除，以及诱发电位的 提取都有研究者尝试用卡尔曼滤波器来 处理。本节介绍卡尔曼滤波器在诱发电 位提取中的应用，方法如下： 1.自发电位模型（EEG）和诱发电位（EP） 模型的建立。 如图6.14所示，EEG信号通过用AR模型 建立，激励是白噪声，EP信号的激励是 单位脉冲序列，用等式表示

25、如下： 阶AR模型 d表示从该时刻开始有单位脉冲刺激。 pnwineaneEEG p i i ),()()(: 1 q i i m i i idndinscnsEP 01 )()()(: 图2 EEG和EP模型 从图2知道，观测信号是EEG和EP的线性 相加，用 表示第i次刺激后测量的信 号，对M次测量平均得： 叠加平均后的信号长度为N。利用先验知 识建立好图6.14的模型。假设单次诱发信 号和平均诱发信号的关系是延时和幅度 变化但波形一致的情况，即 )(nyi 1, 1, )( 1 )( 1 Ndddnny M ny M i i )()( jjj nnsAns 2.卡尔曼状态方程和量测方程的

26、建立。 其中X X表示状态变量，包括诱发信号、单位脉 冲信号、自发信号，长mpq1 A 是系统矩阵， 为输入矩阵 是噪声矩阵 是测量噪声 是输出矩阵 1)Dw(k1)d(kB1)AX(kX(k) V(k)CX(k)Y(k) p)e(k1),e(kq),d(kd),(km),S(k1),S(k1)(kX ki a , 0000100 B ki dD , 00100001 C )(kV 有了上述方程后就可以利用卡尔曼滤波 公式对 进行估计，由于它包含多种 状态，诱发信号和它的关系为： 自发信号和估计值的关系为： 其中kmin（m，p）。 )(kX 1)k(nx(n)s k 1)k(nx(n)e 1

27、qmk 3.设计好了卡尔曼滤波器后对数据处理的结果如 图6.15所示。 现代数字信号处理 第四章：自适应滤波器 内容 1. 自适应滤波器原理 2. 自适应线性组合器 3. 均方误差性能曲面 4. 最陡下降算法 5. LMS算法 6. RLS算法 7. 典型应用：噪声消除 自适应算法 理论分析 1。 自适应滤波原理自适应滤波原理 1.学习和跟踪（时变信号） 2.带有可调参数的最优线性滤波器 两输入两输出Two inputs and two outputs; FIR,IIR, and 格形（Lattice） 最小均方误差和最小平方误差准则 nx ny nd 线性滤波器 性能评价 自适应方法 ne

28、输入信号 输出信号 期望响应 误差 滤波器参数 )() 1()(nWnWnW oldnew 3. 自适应滤波器的性能 (1)失调量（Misadjustment） (2)计算复杂度（Computational complexity） (3)对时变统计量的跟踪能力 (4)结构上：高模块性，并行性等（是否适合硬件实现） (5)收敛速度 (6)数值特性：数值稳定性（对字长效应不敏感），数值精 确性 (7)鲁棒性：对噪声干扰不敏感，小能量干扰只能造成小估 计误差 本章主要讨论自适应线性组合器（其分析和实现简单，在大多数 自适应滤波系统中广泛应用）。 多输入多输入自适应线 性组合器 L k kk nxnw

29、ny 0 2。 自适应线性组合器自适应线性组合器 一类具有自适应参数的FIR数字滤波器。 单输入单输入自适应线性组合器 L k k knxnwny 0 L k k knxnwny 0 L k kk nxnwny 0 T L nwnwnwn 10 w min 2 neEn nyndne nnnnny wxxw TT T Lnxnxnxn1x T L nxnxnxn 10 x 多输入 单输入 nnnndEnwPRww TT 2 LmmnxndEnxndEmP LPPPnndE LmmnxnxEnxnxEmR RLRLR LRRR LRRR nnE m T miixx xxxxxx xxxxxx x

30、xxxxx , 1, 0, 10 , 1, 0, 01 101 10 xP xxR T 输入信号输入信号x的自相关矩阵的自相关矩阵R，期望信号，期望信号d和输入信号和输入信号x的互相关矩阵的互相关矩阵P 3. 均方误差性能曲面均方误差性能曲面 单权重情况单权重情况: 抛物线抛物线 性能曲面 nwPnwRndEn PR nwn 0 2 0 2 0 020 0 , 0 PR w 两个权系数两个权系数: 抛物面抛物面 nwPnwPnwnwRnwnwRndE nw nw PP nw nw RR RR nwnwndEn P P RR RR nwnwn T 1010 2 1 2 0 2 1 0 1 0 1

31、0 2 10 1202120 102 01 10 1 0 , 01 10 PR w 权系数数目大于两个情况：超抛物面权系数数目大于两个情况：超抛物面 个权系数: 一个 维空间内的 超抛物面 “碗底”点对应于均方误差最小点，也就 是最优权系数矢量 所在的点。对于一个二对于一个二 次性能方程，存在唯一全局最优权矢量，没次性能方程，存在唯一全局最优权矢量，没 有局部最优点存在有局部最优点存在. 1L2L w 梯度，最优权矢量和最小均方误差梯度，最优权矢量和最小均方误差 很多自适应方法使用基于梯度的方法寻找可以达到最 小均方误差的权矢量。 均方误差性能曲面均方误差性能曲面的梯度梯度定义为： PRw w

32、 22 10 n nw n nw n nw n n n n T L 最优权重矢量最优权重矢量处梯度为零： PRwPRw 1 022nn 最小均方误差：最小均方误差： wP PRP PR2PPRRPR w2PRww T 1T 1T1 T T T ndE ndE ndE ndE 2 2 12 2 min 与维纳滤波器的最小均方误差比较: 1 T 1 RR 2 min 2 E s n E s n T1 T opt P R P P h The same equations 背离矢量（背离最优权重）背离矢量（背离最优权重） 均方误差性能方程可写为另一种形式： wPRww TT ndEn 2 权重背离矢量

33、权重背离矢量: wwv 在 坐标系统中的性能曲面方程 wwRww T min n Rvv T min n v 为了使 对于所有可能的 值为非负，有必要 使所有 满足 。 也就是说 必须是正 定或者半正定。在实际的系统中，矩阵 总是 正定的，有时半正定情况也会出现。 Rv v 2 梯度: 矢量 是权重矢量 对维纳最优权矢量 的背 离。 任何背离都会导致均方误差的一个增加量 vw w Rvv T Rvv T min v 0Rvv T v R R 4. 最陡下降法 基本思想：搜索性能曲面 理想情况下（梯度可知）: 使用基于梯度的方法（最陡下降法） 实际情况（梯度多数不可知）: LMS方法（the L

34、east-Mean-Square algorithm ） RLSRLS方法（方法（Recursive Least-Square AlgorithmRecursive Least-Square Algorithm） )( )( )() 1( 2 nW neE nWnW 演示1: 基于梯度搜索均方误差曲面的最小点 nnnww1 为一个控制收敛 速度和稳定性的常数 称为自适应步长步长。 演示2: 方程两边同减最优权矢量 1 1 L T xxnnn n RQ Qq q 几个不同形式的权重更新方程 nn nnnn nn nn nn nnnn vIv vQvvQIvQ vQIQv vQQIv vRIv w

35、wvwRwwRIww 111 1 1 21 21 21 21 21 22 1 1 22 2 122 nnnnn nn nn 1 wwRwP wRwPwR P wIR wRw nvnv nvnv nvnv LLL 211 211 211 111 000 1 20 ,1,2, n kkk v nvkL 20 n nvIv 12nn vIv lim( )lim ( )lim( ) nnn nnn wwv0v0 lim20; lim 1 20 0, 1, nn k nn kL I max 1 0 2 max 00 tr LL kk kk E x n R 1 0 tr R 稳定和收敛条件：稳定和收敛条件

36、： 可证明： 自适应过程的稳定性 max 1 0 optopt T WWVWWQV0: )( Lkvnv k n kk , 2 , 1),0(21)( Lkwhennv kk n , 2 , 1, 121, 0)(lim 最优点: 时间迭代: 稳定条件: The deepest-descend method 实际应用中选取: 2 11 0111( ) LL ki ki Tr RE xn 收敛速率 滤波器参数的收敛速度决定于自滤波器参数的收敛速度决定于自 适应步长的选择适应步长的选择 在在主轴系统主轴系统中参数沿着各个参数中参数沿着各个参数 坐标轴独立收敛。各个坐标轴的坐标轴独立收敛。各个坐标轴

37、的 收敛速度被各自的几何比收敛速度被各自的几何比 r 控制。控制。 需要注意的是，需要注意的是，在自然坐标系中在自然坐标系中 各个参数各个参数w w并不是独立收敛的并不是独立收敛的。 这是我们为什么要变换坐标系到这是我们为什么要变换坐标系到 主轴系统进行收敛分析的原因。主轴系统进行收敛分析的原因。 )0(21)( k n kk vnv kk LL r r r r 21 21 21 21 11 00 kk r21 几何比 r 和 自适应步长 对收敛的影 响： 稳定(收敛) 过阻尼 临界阻尼 欠阻尼 不稳定 (不收敛) 10 210 21 121 0 , 1 1r 01r 10 r 0r 1r 几

38、何比和自适应步长对收敛的影响： 1 1 1200 1 , 1 0 11 12 n n v nvr v v n rere v r (1)权系数衰减时间常数 权系数衰减到初始值的 需要花费的时间。 收敛速度：几个时间常数收敛速度：几个时间常数 1 e 22 2 2 minmin 2 min 1 222min11 min 01 20 00 1 , 1 02 11 () 2 124 msemsemse n n mse mse nvvr v n rerere r 通常为迭代次数 (2) 学习曲线时间常数学习曲线时间常数 即均方误差与最小均方误即均方误差与最小均方误 差的差值下降到初始差值差的差值下降到初

39、始差值 的的 时所花费的时间。时所花费的时间。 1 e mse (3) 自适应时间常数（用时间衡量学 习曲线常数） frequency) sample( iteration)each for samples data( numberiteration where sec , 1 s mse s msemse f N f NT 注意 最陡下降法具有更多的理论分析意义， 实际操作时我们必须对其做很多近似。 Least-Mean-Square Algorithm 最陡下降法在每次迭代时要求得到性能曲面梯度的估计值。 LMS 方法使用一个特别方法估计这个梯度（这个梯度对于 自适应的线性组合器是有效的）

40、 LMS 方法的优势在于: (1) 计算简单方便 (2) 不需要离线的梯度估计或者数据副本 如果自适应系统是一个自适应线性组合器，并且输入矢量 和期望响应在每次迭代时都可以得到，那么LMS方法通常是 一个最好选择。 5. LMS 方法方法 nnen nn nnn methoddescentsteepestThe nne ne nen n nn n n nnenneEn xw w ww x w ww 2 1 : 22 22 ( )e nd ny nd nnn T xw LMS 方法推导方法推导 使用单次计算的估 计误差平方代替平 方误差的期望。 LMS使用单次误 差代替误差平均， 造成梯度和权矢

41、量 成为围绕真值的随 机变量。 nnennnn nyndne nnny xwwww wx T 2 ,1 LMS 自 适 应 滤 波 器 nx nx ne nw nw nw nw nwnwn T 1 0 1 0 1 0 10 2 1 1 w 2输入线性组合器举例 22 2 2 0 EnE e nnEnd ny n Ennnd n nn BnEn T xx xxw RwP LMS方法对方法对梯度梯度的估计的均值为真实梯度的估计的均值为真实梯度 估计量的期望值与真实梯度的偏差为0。所以为无偏估计 RwwRI RwPPwRI wxxPw wxxxw xww T T 22 22 22 22 21 nE

42、nE nEnnEnE nnnEnndEnE nneEnEnE RwwRIw221nn RwwRIw22 1nEnE nnennxww21 nnndnewxT 最陡下降法 LMS权矢量的均值权矢量的均值 等于最陡下降法得到的权矢量等于最陡下降法得到的权矢量 020406080100120140160180200 -0.5 0 0.5 1 1.5 020406080100120140160180200 -0.5 0 0.5 1 1.5 最 陡 下 降 LMS 单次 020406080100120140160180200 -0.5 0 0.5 1 1.5 0204060801001201401601

43、80200 -0.5 0 0.5 1 1.5 最 陡 下 降 LMS 多次 平均 RwwRIw22 1nEnE RwwRIw221nn wwRIww02 n n 121 kk r max 1 0 wwRIww02 n nE L k k nxE 0 2 tr, tr 1 0R R 收敛条件收敛条件 (1) 在最小均方误差点在最小均方误差点 附近的附近的梯度估计误差梯度估计误差min nNnn nnennNnx2 , 0 (around ) min (梯度估计噪声 ) nN minmin min 2 2 44 cov cov 44 4cov QRQ QQQQ QQ Rxx xx 1 11 11 T

44、 T nNnNnNE nNnNEnN nnEneE nnneEnNnNEnN T T T 权矢量噪声权矢量噪声 1, 2nnnne nn wwwwx (2)在最小均方误差点在最小均方误差点 附近的权矢量估计误差附近的权矢量估计误差 min 012lim 1202 21 21 1 1 0 1 0 knNn knNn nNnn nNnn nNnn nNnnnnn n k k n n k kn Iv IvIv vIv vRIv w www (3)在最小均方误差点在最小均方误差点 附近的附近的权矢量噪声方差权矢量噪声方差 min 112nNnnvIv IQvQv Iv vI vvI vvI IvvI

45、vvI vIvI vvv wwww 22 min 1 min 1 min 1 2 2 2 2 2 2 2 2 covcov cov 4 cov covcov2 11112 11112 211112 11112 112 112 E cov 1 nn nNn nNn nNnNEnnE nNnNnnE nnNnNn nNnNnnE nNnnNn nnEn nNnnnNnnnnn TT TT TTT TT T T 梯度估计噪声的存在，使得收敛后的权矢量在最佳权矢量 的附近随机起伏。这意味着稳态的均方误差值在 附近 随机的改变。这个偏移量的期望值偏移量的期望值称为超量EMS min L k kk nvE

46、nnE nnEEexcessMSE 0 2 min vv Rvv T T 失失 调调 量量 (1) 超量EMS（Mean-Square Error） R I vvv T tr cov min 0 min 0 2 min 22 1 2 0 min 2 110 11 2 101 010 2 0 L k k L k kk L LLL L L nvEexcessMSE nvEnvEnvE nvEnvnvEnvnvE nvnvEnvEnvnvE nvnvEnvnvEnvE nnEn Rtr min 0 min L k k excessMSE Rtr min excessMSE M av avmse L

47、k kmseavmse L k kav LL 4 1 , 1 1 , 1 1 00 av L k k L1tr 0 R av mse L M 4 1 (2) 失调量 M 实际应用中，失调量，收敛速度和 权系数的个数往往需要作一个折中， 因此这个方程很有用。 通常自适应过程在大概4倍学习曲线时间常数内 基本结束。 因此，失调量可认为等于权重数目比上过渡时间权重数目比上过渡时间 （4倍时间常数）。 特殊情况下所有特征值都相等：特殊情况下所有特征值都相等： mseavmse LL M 4 1 4 1 msemseLmsemse 10 设计滤波器时的考虑设计滤波器时的考虑 trMR 1 4 tr ms

48、e L R 假设要求失调量小于10，则过渡时间应当比权重数目大 10倍。 6. 自适应的递归最小二乘方自适应的递归最小二乘方(RLS)算法算法 维纳滤波器的一种时间递归时间递归形式(收敛速度快) n维纳滤波器 nRLS 自适应滤波器 min)( 2 neE 1 xxxd W R P 2 0 ( )min n n k k e k 遗忘因子 新数据比旧数据更加重要 min)( 0 2 n k kn ke 1 0 0 ( )( )( ) ( )( )( ) n nkT k n nk xd k nnn nkk nd kk wRP RXX PX ( )( ), (1), () T kx kx kx kp

49、X 10 T 01 , p nw n w nwn w P 0 i i y kw k x kikkkk TT wxxw e kd ky k 自相关矩阵： ( )(1)( )( ) T xxxx nnnnRRXX ( )(1)( ) ( ) xdxd nnn d nPPX互相关矢量: 自相关矩阵逆的迭代 形式： 1 1 )()() 1()( nXnXnRnR T xxxx 相关的递归递归形式形式 0 ( )( )( ) n nk xd k nd kk PX 0 ( )( )( ) n n kT k nkk RXX BCBCCDBCBA CCDBA TT T 1 1 11 A 和 B 是两个正定矩阵

50、 )() 1()( ) 1()()() 1( ) 1()( 1 11 111 nXnRnX nRnXnXnR nRnR xx T xx T xx xxxx 关于矩阵逆的一个定理 11 ( )( )( )(1)( ) ( ) (1) ( )(1)( ) (1) xxxdxx nnnnnn e n n nnn e n n WRPWRX WWK 11 11 (1) ( ) ( ) 1( )(1) ( ) xx T xx nn n nnn RX K XRX (1)( )(1) ( ) T e n nd nnnWX 滤波器增益矢量: 误差信号方程: 滤波器系数更新 11 11 (1) ( ) ( ) 1