信号检测与估计理论第五章-统计估计理论-PPT课件.ppt

1、估计理论与信号检测估计理论与信号检测第五章第五章 信号的统计估计理论信号的统计估计理论内容提要内容提要5.1 引言引言5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计5.3 最大似然估计最大似然估计5.4 估计量的性质估计量的性质5.5 矢量估计矢量估计5.7 线性最小均方误差估计线性最小均方误差估计5.8 最小二乘估计最小二乘估计5.1 引言引言l信号的参量估计信号的参量估计l若信号中被估计的量是若信号中被估计的量是随机参量随机参量或或非随机未知参非随机未知参量量，则称这种估计为信号的参量估计。，则称这种估计为信号的参量估计。l在观测时间内一般不随时间变化在观测时间内一般不随时间变化静态估计

2、静态估计l信号的波形估计或状态估计信号的波形估计或状态估计l若被估计的是随机过程或非随机的未知过程。若被估计的是随机过程或非随机的未知过程。l信号的波形、参量随时间变化信号的波形、参量随时间变化动态估计动态估计5.1 引言引言l研究内容：研究内容：l信号的参量估计信号的参量估计若信号中被估计的量是若信号中被估计的量是随机参量随机参量或或非随机未知参量非随机未知参量，则称这，则称这种估计为信号的参量估计。种估计为信号的参量估计。l理论基础：理论基础：l随机变量与数理统计随机变量与数理统计(2.2,P.8)l随机噪声理论随机噪声理论(2.6,P.46)5.1 引言引言l基本思想基本思想 信号模型信

3、号模型的差异；的差异；先验知识与数据之间的关系先验知识与数据之间的关系；估计准则估计准则与估计方法；与估计方法；估计的评价指标。估计的评价指标。数数据据模模型型复杂性：足以描述数据的基本特征复杂性：足以描述数据的基本特征简单：允许估计量是最佳的，且易于实现简单：允许估计量是最佳的，且易于实现5.1 引言引言-信号处理中的估计信号处理中的估计l在雷达、声呐、语音、图像分析、生物医学、通信、自动控在雷达、声呐、语音、图像分析、生物医学、通信、自动控制等领域，都涉及到参数估计的问题。例如制等领域，都涉及到参数估计的问题。例如l雷达系统雷达系统l被动声呐系统被动声呐系统l语音识别系统语音识别系统由时域

4、信号转换为线性预测编码语音模型，由时域信号转换为线性预测编码语音模型，模型的参数决定了谱包络。模型的参数决定了谱包络。5.1 引言引言-估计的数学问题估计的数学问题l确定估计量后，建立数据的数学模型确定估计量后，建立数据的数学模型 0,1,.1x nABnw nnN 222110;exp022p xx例1：实际问题中，未给出实际问题中，未给出PDF，要选择一个与问题的约束与先验知识，要选择一个与问题的约束与先验知识一致，且在数学上容易处理的一致，且在数学上容易处理的PDF。例。例2-道琼斯指数：道琼斯指数：参数确定但未知参数确定但未知-经典估计经典估计参数为随机变量参数为随机变量-贝叶斯估计贝

5、叶斯估计20世纪世纪90年代年代 21202211;exp22NNnpx nABnx,()pppxx5.1.2 数学模型和估计量构造数学模型和估计量构造()px12M 12Nxxxx四个组成部分：参量空间、概率映射、观测空间和估计准则。四个组成部分：参量空间、概率映射、观测空间和估计准则。概率映射函数概率映射函数 ，完整地描述了含有被估计矢量信息时观测，完整地描述了含有被估计矢量信息时观测矢量的统计特性。矢量的统计特性。()px 12,.Ngg x xxxx5.1.3 估计量性能的评估估计量性能的评估l单次观测量为标量，被估计量为标量（单参量）单次观测量为标量，被估计量为标量（单参量）l单次观

6、测量为矢量，被估计量为矢量（多参量）单次观测量为矢量，被估计量为矢量（多参量）,1,2,kkkxnkNh l最佳估计准则定义：充分利用先验知识，使构造的估计量具最佳估计准则定义：充分利用先验知识，使构造的估计量具有有最优性质最优性质的估计准则。的估计准则。l被估计参量（随机或非随机）的先验知识（被估计参量（随机或非随机）的先验知识（P.264）l被估计量及其均值、方差和均方误差的表示（被估计量及其均值、方差和均方误差的表示（P.264）观测向量为长列向量观测向量为长列向量2222E(),Var()E(),E()5.1.3 估计量性能的评估估计量性能的评估11,1,2,;();NkkkkxnkN

7、xNx例子：非随机未知单参量的估计例子：非随机未知单参量的估计1111E()EE()NNkkkkxnNNx2222211E()E()111E()ENNkknkknnNNNxx2nE()0,E()kjkjknn n 5.1.3 估计量性能的评估估计量性能的评估1,1,2,;()kkkxnkNxx例子：非随机未知单参量的估计例子：非随机未知单参量的估计122221E()E()E();E()E()E()kkkknxnxnxx经典估计与贝叶斯估计经典估计与贝叶斯估计lFrom Steven M.Key-page253-259上述估计假定参数取值范围：上述估计假定参数取值范围：(,)考虑到物理条件的限制

8、：考虑到物理条件的限制：经典估计与贝叶斯估计经典估计与贝叶斯估计lFrom Steven M.Key-page253-259贝叶斯最小均方误差估计：贝叶斯最小均方误差估计：令其为零令其为零后验概率均值后验概率均值=1经典估计与贝叶斯估计经典估计与贝叶斯估计lFrom Steven M.Key-page253-259短数据记录对后验短数据记录对后验PDF的影响的影响大数据记录对后验大数据记录对后验PDF的影响的影响经典估计与贝叶斯估计经典估计与贝叶斯估计lFrom Steven M.Key-page253-259后验概率均值：在后验概率均值：在先验知识先验知识和和由数据贡献的知识由数据贡献的知识

9、之间进行折衷。之间进行折衷。例如，当例如，当N增加时，后验增加时，后验PDF变得更加集中，变得更加集中，MMSE估计量（最小均方误差）对先验知识的依估计量（最小均方误差）对先验知识的依赖越来越小，对数据的依赖越来越多，数据把先赖越来越小，对数据的依赖越来越多，数据把先验知识验知识“擦除擦除”了。了。参数估计的贝叶斯方法：假设要估计的参数是随机变量参数估计的贝叶斯方法：假设要估计的参数是随机变量 的一个实现。的一个实现。(1)指定一个先验指定一个先验PDF ;(2)观测到数据后，后验观测到数据后，后验PDF 概括了对参数的了解。概括了对参数的了解。(3)利用先验知识通常能改善估计精度。利用先验知

10、识通常能改善估计精度。()p()px经典估计与贝叶斯估计经典估计与贝叶斯估计lFrom Steven M.Key-page253-259利用先验知识通常能改善估计精度；利用先验知识通常能改善估计精度；在贝叶斯估计中，先验在贝叶斯估计中，先验PDF的选择是很关键的。的选择是很关键的。错误的选择将导致差的估计量，类似与在经典估计量问题中使用错误的选择将导致差的估计量，类似与在经典估计量问题中使用不正确的数据模型设计估计量。不正确的数据模型设计估计量。围绕贝叶斯估计量的使用上有许多争议，源于在实践中不能证明围绕贝叶斯估计量的使用上有许多争议，源于在实践中不能证明先验先验PDF。一般说来，除非先验概率

11、是建立在物理约束的基础上，否则还是一般说来，除非先验概率是建立在物理约束的基础上，否则还是使用经典估计比较合适。使用经典估计比较合适。贝叶斯准则：贝叶斯准则：l二元信号检测的贝叶斯准则（二元信号检测的贝叶斯准则（P.70）lM元信号检测的贝叶斯准则（元信号检测的贝叶斯准则（P.93）5.2 随机参量的贝叶斯估计随机参量的贝叶斯估计在信号参量的估计中，我们用类似的方法提出在信号参量的估计中，我们用类似的方法提出贝叶斯估计准则贝叶斯估计准则，即使估计的即使估计的平均代价最小平均代价最小。适用于随机参量情况。适用于随机参量情况。代价函数的一般形式：满足满足 （1）非负性；）非负性；（2）误差）误差

12、时最小。时最小。05.2 随机参量的贝叶斯估计随机参量的贝叶斯估计三种典型的代价函数：三种典型的代价函数：5.2.1 常用代价函数和贝叶斯估计概念常用代价函数和贝叶斯估计概念平均代价平均代价条件平均代价条件平均代价贝叶斯公式贝叶斯公式上述条件平均代价函数上述条件平均代价函数 对对 求最小，求最小，即可以求得随机参量即可以求得随机参量 的贝叶斯估计量的贝叶斯估计量 。Cxb5.2.2 贝叶斯估计量的构造贝叶斯估计量的构造1、最小均方误差估计（条件均值，代价函数参见图、最小均方误差估计（条件均值，代价函数参见图(a)）(|)d1px对 求偏导，并令结果为零。5.2.2 贝叶斯估计量的构造贝叶斯估计

13、量的构造1、最小均方误差估计（条件均值，代价函数参见图、最小均方误差估计（条件均值，代价函数参见图(a)）二阶偏导数 ，上式求得的估计量，可以使平均代价 C 达到最小：220Cx最小平均代价最小平均代价是是条件方差条件方差对所有观测量的统计平均。对所有观测量的统计平均。5.2.2 贝叶斯估计量的构造贝叶斯估计量的构造1、最小均方误差估计（条件均值，代价函数参见图、最小均方误差估计（条件均值，代价函数参见图(a)）(|)(|)()()()(,)d(|)()dppppppppxxxxxx估计量估计量 是后验概率密度函数是后验概率密度函数 的均值的均值 。msepxEx将后验概率转化将后验概率转化为

14、先验概率表达为先验概率表达5.2.2 贝叶斯估计量的构造贝叶斯估计量的构造2、条件中值估计（条件中值，代价函数参见图、条件中值估计（条件中值，代价函数参见图(b)）称为条件中值估计，或条件中位数估计称为条件中值估计，或条件中位数估计（Conditional Median Estimation），），估计量估计量 是是 的点。的点。med12P0C令x3、最大后验估计（条件众数，最大后验，代价函数参见图、最大后验估计（条件众数，最大后验，代价函数参见图(c)）5.2.2 贝叶斯估计量的构造贝叶斯估计量的构造等效于使等效于使 最大最大(|)(|)()()ppppxxx估计量估计量 是后验概率密度函

15、数是后验概率密度函数 取最大值的点。取最大值的点。mappx5.2.2 贝叶斯估计量的构造贝叶斯估计量的构造例例5.2.1 单随机参量的贝叶斯估计（最佳估计的不变性）单随机参量的贝叶斯估计（最佳估计的不变性）con1mse1 222222221nn2221221n22n222221nn2(|)()(|)()111()exp()222212()exp21()exp22()expNkkNkkkNkkppppxpxxKNxKK Nxxxxxxx222n222221nn2232221mn112211()exp2NkkNkkNxNNKxNN x22221nn1()(|)exp22NkkxpNx2mse2

16、21n1NkkxNN222nmse22n2n22nmseEVar()NN 贝叶斯公式贝叶斯公式5.2.3 最佳估计的不变性最佳估计的不变性如果被估计量的后验概率密度函数如果被估计量的后验概率密度函数 是高斯型的，则在三是高斯型的，则在三种典型代价函数下，使平均代价最小的估计量是一样的，都等于种典型代价函数下，使平均代价最小的估计量是一样的，都等于最小均方误差估计量，即最小均方误差估计量，即它们的均方误差都是最小的，这就是最佳估计的不变性。但是，它们的均方误差都是最小的，这就是最佳估计的不变性。但是，代价函数的选择常常带有代价函数的选择常常带有主观性主观性，而后验概率密度函数，而后验概率密度函数

17、 也不一定能满足高斯型的要求。也不一定能满足高斯型的要求。希望能够放宽条件，也能获得均方误差最小的估计。希望能够放宽条件，也能获得均方误差最小的估计。(|)pxmsemedmapb(|)px5.2.3 最佳估计的不变性最佳估计的不变性两种情况下最小均方误差估计所具有两种情况下最小均方误差估计所具有最佳估计不变性。最佳估计不变性。5.2.3 最佳估计的不变性最佳估计的不变性情况情况最大似然估计常用来最大似然估计常用来估计未知的非随机参量估计未知的非随机参量。最大似然估计定义：使似然函数最大似然估计定义：使似然函数 最大的最大的 值作为估计量值作为估计量的参量估计方法的参量估计方法(Maximum

18、 Likelihood Estimation)。5.3.1 最大似然估计原理最大似然估计原理最大似然函数的基本原理是：对于某个选定的最大似然函数的基本原理是：对于某个选定的 ，考虑，考虑 落在落在一个小区域内的概率一个小区域内的概率 ，取，取 最大的那个最大的那个 作为作为估计量估计量 。似然函数是在给定似然函数是在给定 后后得到的，可以画出它与被估得到的，可以画出它与被估计量计量 的关系曲线。的关系曲线。5.3 最大似然估计最大似然估计(|)px(|)dpxxx(|)dpxxml0 xxPDF作为未知参数的函数（固定），称之为似然函数。x根据最大似然估计原理，可得如下最大似然估计量根据最大似

19、然估计原理，可得如下最大似然估计量 或或5.3.2 最大似然估计量的构造最大似然估计量的构造ml(|)0p xmlln(|)0p x对比（5.2.19）式，相当于最大似然估计用于相当于最大似然估计用于估计没有任何先验知识的随机参量估计没有任何先验知识的随机参量 ，假定假定 为均匀分布，上式第二项为零，最大后验概率估计转化为均匀分布，上式第二项为零，最大后验概率估计转化为最大似然估计。为最大似然估计。例例5.3.1 同例同例5.2.1，但不利用被估计量的先验分布知识，而把其，但不利用被估计量的先验分布知识，而把其看成是未知非随机参量看成是未知非随机参量观测矢量观测矢量 的似然函数为：的似然函数为

20、：5.3.2 最大似然估计量的构造最大似然估计量的构造22221nn1()(|)exp22NkkxpNxxml2211nnml1ln(|)11()01NNkkkkNkkpNxxNxN x222mln111E()ENkkxNN2mse221n1NkkxNN2222nnmsemse2222nnEVar()NN 带先验知识的贝叶斯估计：22/nN(1)最大似然估计没有利用被估计量的先验知识，其性能比贝叶斯估计差；最大似然估计没有利用被估计量的先验知识，其性能比贝叶斯估计差；(2)当当 为未知随机参量时，计算似然函数为未知随机参量时，计算似然函数 相对容易；相对容易；(3)对于绝大多数实用的最大似然估

21、计，观测数据足够多时，对于绝大多数实用的最大似然估计，观测数据足够多时，其性能是最优的；其性能是最优的；(4)最然似然估计具有不变性。最然似然估计具有不变性。5.3.2 最大似然估计量的构造最大似然估计量的构造2mse221n1NkkxNN2222nnmsemse2222nnEVar()NN 带先验知识的贝叶斯估计：(|)pxN N ml11NkkxN22mln1E()N最大似然估计的不变性：最大似然估计的不变性：1、如果参量、如果参量 的最大似然估计量为的最大似然估计量为 ，那么函数，那么函数 的的最大似然估计量最大似然估计量 ，在，在 是是 的的一对一变换一对一变换时有时有2、如果、如果

22、不是不是 的一对一变换，而是的一对一变换，而是一对多变换一对多变换，则首先应找，则首先应找出在出在 取值范围内所有变化参量的似然函数取值范围内所有变化参量的似然函数 中具有最大值的一个，记为中具有最大值的一个，记为 ，即，即然后，通过然后，通过 求出求出 的最大似然估计量的最大似然估计量 ，就是函数，就是函数 的最大似然估计量。的最大似然估计量。5.3.3 最大似然估计的不变性最大似然估计的不变性ml()gmlmlml()gm(|)px(|)(1,2,)ipijxm(|)Max(|),1,2,ippijxxm(|)px()gml估计量是随机变量估计量是随机变量主要性质主要性质无偏性无偏性有效性

23、有效性一致性一致性充分性充分性克拉美克拉美-罗不等式罗不等式(Cramer-Rao)克拉美克拉美-罗界（均方误差下界）罗界（均方误差下界）5.4 估计量的性质估计量的性质2、估计量的有效性、估计量的有效性 则称估计量则称估计量 比比 有效。有效。克拉美克拉美-罗不等式罗不等式 克拉美克拉美-罗界（在罗界（在5.4.2小节讨论）小节讨论）无偏有效估计量无偏有效估计量的定义（的定义（P.277）5.4.1 估计量的主要性质估计量的主要性质1、估计量的无偏性、估计量的无偏性210,unbiased()0,biasedb2Var()Var()E()估计量方差估计量方差估计误差方差估计误差方差均方误差均

24、方误差5.4.1 估计量的主要性质估计量的主要性质3、估计量的一致性、估计量的一致性4、估计量的充分性、估计量的充分性 若被估参量的估计量为若被估参量的估计量为 。如果以。如果以 为参量的似然为参量的似然 函数函数 能够分解表示为能够分解表示为 则称则称 充分估计量，运用了观测量充分估计量，运用了观测量 中的全部关于中的全部关于 的信息。的信息。无偏有效估计量必然是充分估计量。无偏有效估计量必然是充分估计量。()x()x(|)px一致估计量一致估计量均方一致估计量均方一致估计量x均方误差准则（均方误差准则（MSE）：）：5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界度量估

25、计量偏移真值的平方偏差的统计平均值。度量估计量偏移真值的平方偏差的统计平均值。约束约束偏差为零偏差为零方差方差偏差偏差最小方差无偏估计最小方差无偏估计(MVU)：Cramer-Rao下限下限5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界对无偏估计量确定一个下限：对无偏估计量确定一个下限：判断是否是判断是否是MVU估计量；估计量；为比较无偏估计量的性能提供标准；为比较无偏估计量的性能提供标准；不可能求得方差小于下限的无偏估计量不可能求得方差小于下限的无偏估计量（用于信号处理的可行性研究）（用于信号处理的可行性研究）引入：依赖于未知参数的引入：依赖于未知参数的PDF5.4.2

26、 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界 00XAw观测到上述单个样本，其中 。20(0,)wN显然有：，方差为 。0Ax21332,423 30,6图图(b)的的PDF与与A的相关性较弱。直观的看：的相关性较弱。直观的看：似然函数的似然函数的”尖锐尖锐”性性，决定了，决定了估计未知参数的精度。估计未知参数的精度。PDF受未知参数的影响越大，所得到的估计越好受未知参数的影响越大，所得到的估计越好。考察由对数似然函数在其峰值处的负的二阶导数，考察由对数似然函数在其峰值处的负的二阶导数，来来度量度量“尖锐尖锐”性。性。5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗

27、界罗界2221ln0;ln202p xAxA 一阶导数：2曲率更一般的度量：曲率更一般的度量：2ln0;10p xAxAA负的二阶导数：222ln0;1p xAA曲率随方差 的减少而增加。在本例中：221var()ln0;Ap xAA22ln0;p xAEA假定假定PDF 满足满足“正则正则”条件：条件：5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界Page25 from Steven M.KeyCRLB定理（定理（Cramer-Rao 下限定理）：下限定理）：;px且对于某个函数且对于某个函数 g 和和 I，当且仅当，当且仅当则，任何无偏估计量则，任何无偏估计量 的方差

28、必定满足：的方差必定满足：221var()ln;pExln;0pEx ln;pIgxx时，对所有时，对所有 达到下限的无偏估计量可以求得：达到下限的无偏估计量可以求得：gx 1var()I1、非随机参量情况、非随机参量情况5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界推论推论最大似然估计公式最大似然估计公式推导：两边对推导：两边对theta求偏导求偏导5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界1、非随机参量情况（续，克拉美、非随机参量情况（续，克拉美-罗不等式的推导罗不等式的推导P.364）()(|)ln(|)()()wppghxxxxx(|)d

29、1pxxCauchy-Schwarz Inequality无偏估计无偏估计()()gkhxx不等式取等号条件：不等式取等号条件：1、非随机参量情况（续，另一种形式）、非随机参量情况（续，另一种形式）5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界另一种形式克拉美另一种形式克拉美-罗不等式的推导过程罗不等式的推导过程两边对两边对theta求二阶偏导求二阶偏导2、随机参量情况（第一种形式）、随机参量情况（第一种形式）5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界关系常数关系常数k与随机参量的二阶统计量有关与随机参量的二阶统计量有关推导：两边对推导：两边对t

30、heta求偏导求偏导2、随机参量情况（续，第二种形式）、随机参量情况（续，第二种形式）5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界推论推论最大后验估计公式最大后验估计公式5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界2、随机参量情况（续，第二种形式）、随机参量情况（续，第二种形式）map若随机参量若随机参量 的任意无偏估计量的任意无偏估计量 也是有效的，也是有效的，则该估计量一定是则该估计量一定是 的最大后验估计量的最大后验估计量 。无偏且达到无偏且达到CRLB的估计量可以有效地使用数据，称其为有效的。如左图所示。的估计量可以有效地使用数据，称其为

31、有效的。如左图所示。MVU（最小方差无偏）估计量可能是也可能不是有效的，如图（最小方差无偏）估计量可能是也可能不是有效的，如图(b)所示，所示，没有没有达到达到CRLB，因此不是有效的，但是它的方差一致地小于所有其它无偏估计量的，因此不是有效的，但是它的方差一致地小于所有其它无偏估计量的方差，因此方差，因此 是是MVU估计量。估计量。Page28-29 from Steven M.Key115.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界2、随机参量情况（续，第二种形式）、随机参量情况（续，第二种形式）当达到当达到CRLB时，时，方差是方差是Fisher信息的倒数，信息的倒

32、数，即信息越多，下限越低，即信息越多，下限越低，具有信息测度的基本性质：具有信息测度的基本性质：(1)非负性；非负性；(2)对独立观测的可加性。对独立观测的可加性。将下限表达式中的分母称为数据将下限表达式中的分母称为数据 X 的的Fisher信息信息 ，即，即 22ln;pIE x I5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界10ln;ln;Nnpp x nx212220ln;ln;Nnpp x nEE x关于对独立观测的可加性：关于对独立观测的可加性：N个个IID观测的观测的CRLB是单次观测的是单次观测的 1/N 倍。倍。对于独立观测对于独立观测对于同分布观测对于

33、同分布观测 INi对于非独立的样本，可能有：对于非独立的样本，可能有：INi例例5.4.1 非随机参量的最大似然估计量的性质非随机参量的最大似然估计量的性质5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界ml11NkkxN222211()(|)exp22NkknnxpNxml1111E()EENNkkkkxnNNml2211ln(|)11()()NNkkkknnpNxxkNx222mlml22ln(|)Var()E()1E1E()nnp xNNml1111lim(|()|)limlim0NNNkkNNNkkPPxPnNNx22mllim E()lim0nNNNNx（1）无偏

34、性）无偏性（2）有效性）有效性（3）一致性（随观测次数的增加，估计质量有所提高）一致性（随观测次数的增加，估计质量有所提高）例例5.4.1 非随机参量的最大似然估计量的性质（续）非随机参量的最大似然估计量的性质（续）5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界2222122222112222222111111(|)exp()22112exp2211211exp22NkknnNNkkkknnNNNNkkkkkkkknnpxNxxNNNxxxxNNNNNNNx12121 2222ml222211ml1111exp()exp2222(|)()NNNkkkknnnnNNNxxN

35、NNgh x1 22mlml22(|)exp()22nnNNg（4）充分性估计量利用了观测量中所有有关信息。）充分性估计量利用了观测量中所有有关信息。例例5.4.2 随机参量的贝叶斯估计量的性质随机参量的贝叶斯估计量的性质5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界2b2211NkknxNN222211()(|)exp;22NkknnxpNx22b22221111E()E()E()0E()NNkkkknnxnNNNN2221222b22221ln(|)ln()11()NkknnNnkknnppNxNNxkNN x22222b222222ln(|)ln()1E()1E1E

36、nnnp xpNN 1 22221()exp22p（1）无偏性）无偏性（2）有效性）有效性先验知识先验知识之前求取的贝叶斯估计量之前求取的贝叶斯估计量2b221222111lim(|()|)lim11lim()lim0NNkNNknNNkkNNkknPPxNNPnPnNNNx例例5.4.2 随机参量的贝叶斯估计量的性质（续）随机参量的贝叶斯估计量的性质（续）222b22lim E()lim0nNNNnN x1 221 222b2222222b222211mn1112(,)(|)()exp2222111expexp(|)()22NmmmnNNkkkknpppxxghNN xxx5.4.2 克拉美

37、克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界（3）一致性）一致性（4）充分性）充分性5.4.3 有效估计量均方误差与有效估计量均方误差与 的关系的关系()k1、非随机参量情况、非随机参量情况2、随机参量情况、随机参量情况两边对两边对theta求偏导求偏导两边求均值两边求均值两边对两边对theta求偏导，并求均值求偏导，并求均值,5.4.4 非随机参量函数估计的克拉美非随机参量函数估计的克拉美-罗界罗界推导：两边对推导：两边对theta求偏导求偏导未知随机参量 的函数 ，其估计量 是 的任意无偏估计量，有：g5.4.4 非随机参量函数估计的克拉美非随机参量函数估计的克拉美-罗界罗界()ln

38、(|)(|)(-)d0gpp xxx()(|)(|)d(-)d0gpp xxxx(|)ln(|)(|)pppxxxln(|)()(|)(-)dpgp xxx222222222ln(|)()(|)d(-)(|)dln(|)()E(-)()ln(|)(-)EpgpppgEgpE xxxxxxx由柯西由柯西-施瓦兹不等式得（参见施瓦兹不等式得（参见(5B.6)式）式）其克拉美其克拉美-罗不等式推导过程罗不等式推导过程5.4.4 非随机参量函数估计的克拉美非随机参量函数估计的克拉美-罗界罗界例例5.4.3 非随机参量非随机参量线性线性函数的最大似然估计量的性质函数的最大似然估计量的性质ml11Nkkx

39、Nml2211ln(|)1()()()NNkkkknnp xbNxbxkNb232222mlml2ln(|)Var()=E()E()nbp xbkN22mlmlVar()=E()nNmlml1NkkbbxNml11E()E()E()NNkkkkbbxnbNN()gb5.4.4 非随机参量函数估计的克拉美非随机参量函数估计的克拉美-罗界罗界例例5.4.4 非随机参量非随机参量非线性非线性函数的最大似然估计量的性质函数的最大似然估计量的性质mlmlmlmlml1 222mlmlml221E()Eexp()exp()()d()exp()expdexp()222NnknnpNNNml11NkkxN22

40、mlmlVar()=E()nNmlml11exp()expNkkxN1 22mlml221()()exp22NknnNNpmlE()exp()()exp()g非线性函数的最大似然估计量非线性函数的最大似然估计量 是有偏估计，但是是有偏估计，但是渐进无偏的渐进无偏的。ml根据最大似然函数估计的不变性：根据最大似然函数估计的不变性：5.4.2 克拉美克拉美-罗不等式与克拉美罗不等式与克拉美-罗界罗界Page31 from Steven M.Key非线性变换破坏了估计量的有效性，线性变换能够保持估计量的有效性。非线性变换破坏了估计量的有效性，线性变换能够保持估计量的有效性。如果数据记录足够大，非线性

41、变换可以近似保持有效性。如果数据记录足够大，非线性变换可以近似保持有效性。gab要估计的参数是某个基本参数的函数，例如下述两个典型的情况：线性关系：例如 2g非线性关系：例如 g若：，CRLB：222varln;gpExSteven P31335.4.5 估计量性质的总结估计量性质的总结关于估计量性质的几个基本概念性问题关于估计量性质的几个基本概念性问题 有效估计量一定是建立在无偏的基础上的。因为克拉美有效估计量一定是建立在无偏的基础上的。因为克拉美-罗不罗不等式以及不等式取等号的条件，都是等式以及不等式取等号的条件，都是在任意无偏估计量基础上推在任意无偏估计量基础上推导导的。所以检验一个估计

42、量的性质，首先要检验它的无偏性，只的。所以检验一个估计量的性质，首先要检验它的无偏性，只有有在无偏性的基础上，才能进一步检验它的有效性在无偏性的基础上，才能进一步检验它的有效性。只有无偏的和有效的估计量，其估计的均方误差才能达到克只有无偏的和有效的估计量，其估计的均方误差才能达到克拉美拉美-罗界，并可通过计算克拉美罗界，并可通过计算克拉美-罗界求得该估计量的均方误差。罗界求得该估计量的均方误差。虽然，例虽然，例5.4.15.4.1中的最大似然估计量和例中的最大似然估计量和例5.4.25.4.2中的贝叶斯估中的贝叶斯估计量都是无偏有效估计量。但是，计量都是无偏有效估计量。但是，非随机参量的最大似

43、然估计量非随机参量的最大似然估计量或随机参量的贝叶斯估计量不一定都是无偏有效估计量或随机参量的贝叶斯估计量不一定都是无偏有效估计量。它可能。它可能是无偏的、有效的；也可能仅是无偏的，但不是有效的；也可能是无偏的、有效的；也可能仅是无偏的，但不是有效的；也可能是有偏的。是有偏的。5.5 矢量估计矢量估计在许多实际问题中，要求我们同时估计信号的多个参量，这就是在许多实际问题中，要求我们同时估计信号的多个参量，这就是矢量估计矢量估计。本节将把单参量估计的概念、方法和性能评估等推广。本节将把单参量估计的概念、方法和性能评估等推广到信号参量的矢量估计中。到信号参量的矢量估计中。类似于单参量估计的情况，矢

44、量估计也可分为类似于单参量估计的情况，矢量估计也可分为随机矢量和非随机矢量两种情况。随机矢量和非随机矢量两种情况。M维矢量维矢量估计矢量的的误差矢量：估计矢量的的误差矢量：5.5 矢量估计矢量估计矢量参数的矢量参数的CRLB对每个元素的方差设置下限：对每个元素的方差设置下限：其中其中 是是 的的Fisher 矩阵，有：矩阵，有：1variiiI I pp 2ln(;)E1,2,.,;1,2,.,ijijpip jp xI 关于直线拟合的一个例子：关于直线拟合的一个例子：0,1,.,1x nABnw nnN其中，是WGN，参数矢量是 。w nTAB 222222ln ;ln ;EEln ;ln

45、;EEppAA BppB AB xxIxx 2ln(;)ln(;)ln(;)EEijijppp xxx 5.5 矢量估计矢量估计似然函数为：似然函数为：120()1Nnpx nABnA;x 12202211()exp22NNnpx nABn;x 120()1Nnpx nABn nB;x 1011222001112112126NnNNnnN NNnNN NN NNnnI 1222 2161161211NN NN NN NN NI 5.5 矢量估计矢量估计由上式可得：由上式可得：2212var1BN N 22 21var;1NAN N总结：总结：（1）的的CRLB相对于相对于 B 是已知的情况有所

46、增加；是已知的情况有所增加；B 已知时，有已知时，有（2）对于）对于 ，CRLB随着估计更多的参数而增加；随着估计更多的参数而增加；（3）对于）对于 ，B 更容易估计，其更容易估计，其CRLB随随 而减少；而减少；A 的的CRLB与与 有关；有关；（4）表明）表明 对对 B 的变化比对的变化比对 A 的变化敏感。的变化敏感。A 2221varln;ANpAEA x2N 3N 31 N1 N x n ;x nx nAAA x nx nBn BA 5.5.1 随机矢量的贝叶斯估计随机矢量的贝叶斯估计1、最小均方误差估计、最小均方误差估计()(,)d dCcp xx条件平均代价条件平均代价(|)C

47、x各个分量估计误差的平方和各个分量估计误差的平方和为使平均代价为使平均代价 最小，要求每个参量最小，要求每个参量 估计的均方误差最小。估计的均方误差最小。C1,2,.,jjM矢量形式：矢量形式：5.5.1 随机矢量的贝叶斯估计随机矢量的贝叶斯估计2、最大后验估计、最大后验估计最大后验估计最大后验估计的另一种形式的另一种形式mapln(|)ln(),1,2,jjppjM0 x 5.5.2 非随机矢量的最大似然估计非随机矢量的最大似然估计mlml12ln(|)0ln(|)0ln(|)0ln(|)Mpppp 0 xxxx被估计的矢量是非随机矢量，被估计的矢量是非随机矢量，或者是完全缺少先验知识的随机

48、矢量或者是完全缺少先验知识的随机矢量。是 阶矩阵 的第 i 行第 j 列元素。5.5.3 矢量估计量的性质矢量估计量的性质1、非随机矢量情况、非随机矢量情况（1）无偏性）无偏性（2）有效性）有效性若对所有的若对所有的 ，估计的偏矢量，估计的偏矢量 的每一个分量都为零，则的每一个分量都为零，则 为无偏估计矢量。为无偏估计矢量。b -1 MM iiJ5.5.3 矢量估计量的性质矢量估计量的性质矩阵矩阵J通常称为通常称为费希尔信息矩阵费希尔信息矩阵，它表示从观测数据中获得的信息。，它表示从观测数据中获得的信息。当当M=1，矩阵，矩阵J 退化成标量。退化成标量。若对于若对于M维非随机矢量维非随机矢量

49、的任意无偏估计矢量的任意无偏估计矢量 中的每一个参量中的每一个参量都满足都满足 ，则该估计称为联合有效估计。，则该估计称为联合有效估计。是是 的均方误差下界，即克拉美的均方误差下界，即克拉美-罗界。罗界。1,2,.,iiMi5.5.3 矢量估计量的性质矢量估计量的性质例例5.5.1 非随机二维矢量的估计问题非随机二维矢量的估计问题1222212211221/21122121112112211221,|1()()JJJJ JJJJJ JJ JJ2211222212111222122122112ln(|)ln(|)E,E,ln(|)EppJJJJJJpJJ xxJx 111122212121222

50、1111|JJJJJJJJJJ12222222221212121111,Eln(|)Eln(|)1(,)1(,)pp xx5.5.3 矢量估计量的性质矢量估计量的性质例例5.5.1 非随机二维矢量的估计问题非随机二维矢量的估计问题关于本例题的讨论和关于习题关于本例题的讨论和关于习题5.17的讨论：的讨论：1222211211 Eln(|)1(,)p x（1）矢量估计的性能一般来说要低于单参量估计的性能；）矢量估计的性能一般来说要低于单参量估计的性能；（2）矢量估计中的参量）矢量估计中的参量 越多，估计量的性能越多，估计量的性能 可能会越低，除非各估计量之间是互不相关的。可能会越低，除非各估计量