非参数统计-非参数密度估计课件.ppt

1、第八章第八章 非参数密度估计非参数密度估计8.1 非参数密度估计非参数密度估计 直方图是最基本的非参数密度估计。假定有数据x1,x2,xn,将它由小到大排序，得到数据覆盖的区间(a,b)，对该区间等间距地分为k组，记为I1,I2,Ik，计算Ii中的频率ni/n，则密度估计为：iinn,xI,i1,2,.,k p(x)nh0,其他其中，hn是归一化参数，表示每组的组距，称为带宽（窗宽）。注意：针对连续型的总体X.鲑鱼和鲈鱼的身长(260条)例8.1510152025051015c1,10510152025010203040c1,1051015202530020406080100120c1,1鲈鱼

2、比鲑鱼的身长要长。hist(A,1,20)推广直方图的密度函数定义。XRdin/n p(x)V1）若V很小，密度值局部变化很大，呈现多峰不稳定的特点；2）若V较大，从而使估计过于平滑。如何在稳定与过度平滑之间寻找平衡？方法（1）固定体积不变；（2）固定ni不变；核估计和k-近邻估计。8.2 核密度估计核密度估计1()nininx-xkh11,|,1,2,.,()20,ixidx其他 设区域R是Rd空间上的d维立方体,其体积为Vn,h是R的边长,对任意的x=x1,x2,xn,定义x的邻域函数:11()()niinnxxp xnVh落入x邻域的样本数称为Parzen窗密度估计核密度估计的定义核密度

3、估计的定义 定义8.1假设数据x1,x2,xn取自连续分布p(x),定义核密度估计K(x)0,K(x)dx1R只要核函数满足:11()()()nininnxxpxKnVhK其中为核函数本节主要讲一维的密度估计。常用核函数常用核函数242 3211)(|1)22)(1|)(|1)33)(1)(|1)4154)(1)(|1)16355)(1)(|1)32116)exp()227)cos()(|1)428)exp(|)ParzenIuu IuEpanechikovuIuuIuuIuuu Iuu核函数的名称核函数窗三角四次三权高斯余弦指数以高斯核函数为例以高斯核函数为例211111()exp()22,

4、nininxxpxnhhxx其中为样本序列用S-Plus编程计算密度估计值.1)调用数据文件 A-read.table(E:各种电子课件非参数统计datanewfish.txt,header=T,sep=,)2)建立高斯函数文件Ga z z1 0.013474255)画图 x z for(i in 1:52)zi plot(x,z,type=l)带宽对估计量的影响带宽对估计量的影响xz05101520250.020.040.060.08h=1h=2xz05101520250.00.0010.0020.0030.0040.005h=0.2xZ5101520250.050.100.150.200.

5、25Parzen窗函数为核函数窗函数为核函数h=511(|1)211()12niniParzenIuxxpxInhh窗函数当带宽h=0.2时,密度函数曲线比较粗糙,噪声很多;当带宽h=1时,密度函数曲线比较平滑,较为理想;而带宽h=5时,密度函数曲线最平滑的,但信息损失很多;如何选择合适的带宽,是核函数密度估计的关键.带宽对估计量的影响带宽对估计量的影响考虑估计的均方误差.22(,)()()MSEEDE E 均方误差均方误差2()()()var()nnnMISEEpxp xdxBias pxpxdx分析:1.带宽hn越小,核估计的偏差越小,但方差会增大.2.带宽hn越大,核估计的偏差大,但方差

6、会变小.说明hn的变化,不可能同时使核估计的偏差和方差变小.只有同时使两者达到一种平衡.实际上,h的选取要根据数据和密度估计的情况不断调整.模式分类问题模式分类问题一些实际问题:鉴定某河流的污染程度;通过检查某些指标,诊断某人是否得了某种疾病;3.设备的故障诊断问题;1.假设1鲑鱼，2鲈鱼，它们的先验概率为：应用密度估计对数据进行分类应用密度估计对数据进行分类12(|)(|)p xp x12()()1/2(130)pp因为两类的频数为条2.分别估计鲑鱼和鲈鱼的概率密度：22112121(|)(|)(|)(|),(|)()(|),1,2(|)()iiijjjpxpxxpxpxp xppxip x

7、p其中3.归类原则：(贝叶斯公式)分类问题分类问题序号数值P(1|x)P(2|x)实际类别判断类别113112250219123197170329213719.622.314.078.517.37.66.36.522.12.00.8230.7310.5230.3230.5460.3230.5860.2380.9230.0370.1770.2690.4770.6770.4540.6770.4140.7620.0770.96311001001101110100010分类问题分类问题优缺点评价：1.样本量较大，才能保证一定的精度；2.分类精度的评价;3.分类方法.k-近邻估计近邻估计在核密度估计方法

8、的基础上，让体积随样本点的密集性发生改变。当样本点密集处，选取体积小；当样本点稀疏时，选取体积大。11:()(|)():()(,)(,)max|,nininiixxpxKnhhkkpxnR x kR x kxxxxk核密度估计一维的情形近邻密度估计其中是离 最近的 个观测点程序实现程序实现1.产生函数R(x,k)knear-function(A,x,k)na-nrow(A)or-1:na dis-NULL for(i in 1:na)dis-c(dis,(abs(x-Ai,1)ra-rank(dis)find.k-orrak+1 knear-max(abs(Afind.k,1-x)return

9、(knear)程序实现程序实现2.k-近邻密度估计x-seq(min(A,1),max(A,1),length=50)z-rep(0,50)for(i in 1:50)zi-5/(260*knear(A,xi,5)plot(x,z,type=l)图形显示图形显示xz5101520250.00.10.20.30.40.5k=5xz5101520250.00.10.20.30.40.5k=3图形显示图形显示k=10 xz5101520250.050.100.150.200.25xz5101520250.050.100.150.200.25k=40k-近邻估计近邻估计2 1/21:()()(,)(,

10、)max|,|()niipijijjkkpnR x kRkkxxxxxxxxxx近邻密度估计高维情况其中是离 最近的 个观测点1:1()(|)(,)(,)(,)max|,niniiikxxpxKnR x kR x kR x kxxxxk近邻密度估计其中是离 最近的 个观测点思考：k-近邻估计应用于分类近邻估计应用于分类121122:1)(,|)(,|),2)(,|)(,|),R x kR x kxR x kR x kx分类原则则则12112211:1)(,|)(,|),2)(,|)(,|),(,|)max|,iiRkRkRkRkRkkxxxxxxxxxxx二维的情形则则其中是离 最近的 个观测

11、点,且是类的k-近邻估计方法分类近邻估计方法分类序号数值R(x,5|1)R(x,5|2)实际类别判断类别11311225021912319717032921371233219.622.314.078.517.37.66.36.522.12.017.36.50.220.110.940.450.910.540.310.510.182.160.210.191.51.20.440.130.690.060.030.1710.20.390.16110010011011110000001010k=3一维情形:k-近邻估计方法分类近邻估计方法分类序号长度x光泽度yR(x,y,5|1)R(x,y,5|2)实际类

12、别判断类别113112250219123197170329213719.622.314.078.517.37.66.36.522.12.09.294.64.89.83.83.34.88.31.550.6740.6661.591.5662.0520.941.0731.5220.6213.693.72.8450.860.4724.80.2980.5380.6752.2730.38911001001101100100010二维情形:二维情形的程序knear12-function(A1,x,y,k)na-nrow(A1)or-1:na dis-NULL for(i in 1:na)dis-c(dis,(x-A1i,1)2+(y-A1i,2)2)0.5)ra-rank(dis)find.k-orrak+1 knear12-max(A1find.k,1-x)2+(A1find.k,2-y)2)0.5)return(knear12)