协方差与相关系数课件.ppt

1、协方差与相关系数协方差与相关系数 对于二维随机向量(X,Y)来说,数学期望E(X)、E(Y)只反映了X与Y各自的平均值,方差只反映了X与Y各自离开均值的偏离程度,它们对X与Y之间相互关系不提供任何信息. 但二维随机向量(X,Y)的概率密度p(x,y)或分布列pij全面地描述了(X,Y)的统计规律,也包含有X与Y之间关系的信息.我们希望有一个数字特征能够在一定程度上反映这种联系.问题的提出：问题的提出：*二、相关系数的概念及性质 一、协方差的概念及性质 三、协方差的关系式 * 定义：定义：设二维随机向量(X,Y)的数学期望(E(X),E(Y)存在,若E(X-E(X)(Y-E(Y)存在,则称它为随

2、机变量X与Y的协方差,记为Cov(X,Y),即Cov(X,Y)= E(X-E(X)(Y-E(Y) 协方差有计算公式Cov(X,Y)= E(XY)-E(X)E(Y) 任意两个随机变量X与Y的和的方差为D(X+Y)=D(X)+D(Y)+2Cov(X,Y)1 协方差协方差*协方差的性质协方差的性质(,)()Cov X XD X1.(, )( ,)Cov X YCov Y X2.(,)( ,)Cov aX bYab Cov Y Xa,b是常数3.1212(, )(, )(, )Cov XXYCov X YCov XY4.* 定理定理:Cov(X,Y)=Cov(Y,X)证明证明 Cov(X,Y)= E(

3、X-E(X)(Y-E(Y) = E(Y-E(Y) (X-E(X) = Cov(Y,X) 定理定理: Cov(aX,bY)=abCov(X,Y),a,b是常数证明证明 Cov(aX,bY)=E(aX-E(aX)(bY-E(bY) =Ea(X-E(X)b(Y-E(Y) =abEX-E(X)Y-E(Y) =abCov(X,Y)* 定理定理:Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)证明证明 Cov(X+Y,Z) =E(X+Y)-E(X+Y)Z-E(Z) = E(X-E(X)+(Y-E(Y)Z-E(Z) = EX-E(X)Z-E(Z) +Y-E(Y)Z-E(Z) =EX-E(X)Z-E(

4、Z) +EY-E(Y)Z-E(Z) =Cov(X,Z)+Cov(Y,Z)* 协方差的数值在一定程度上反映了X与Y相互间的联系,但它受X与Y本身数值大小的影响.如令X*=kX,Y*=kY,这时X*与Y*间的相互联系和X与Y的相互联系应该是一样的,但是Cov(X*,Y*)=k2Cov(X,Y) 为了克服这一缺点,在计算X与Y的协方差之前,先对X与Y进行标准化:)()()()(YDYEYYXDXEXX 再来计算X*和Y*的协方差，这样就引进了相关系数的概念.*)()(),(YDXDYXCovXY 定义定义:设二维随机变量(X,Y)的方差D(X)0,D(Y)0,协方差Cov(X,Y)均存在,则称为随机

5、变量X与Y的相关系数相关系数或标准协方差标准协方差.2 相关系数相关系数* 引理引理:对于二维随机向量(X,Y),若E(X2),E(Y2)存在,则有|E(XY)|2E(X2)E(Y2) 证明证明:考虑实变量t的二次函数h(t)=E(tX-Y)2=t2 E(X2)-2tE(XY)+E(Y2)因为对一切t,有(tX-Y)20,所以h(t)0. 从而二次方程h(t)=0或者没有实根,或者只有重根,因而，由二次方程根的判别式知识得|E(XY)|2E(X2)E(Y2)*2.1 相关系数的性质相关系数的性质 性质性质1:随机变量X和Y的相关系数满足|XY|1. 性质性质2: |XY|=1 的充要条件是,存

6、在常数a,b使得PY=a+bX=1. 性质性质3:若X与Y相互独立,则XY=0.* 性质性质1:随机变量X和Y的相关系数满足|XY|1.证明证明 令)()()()(YDYEYYXDXEXX则)()()()(22YDXDYEYXEXEXY从而|XY|1.22*)*()()()()(YXEYDYEYXDXEXE1)*()*(22YEXE* 性质2: |XY|=1 的充要条件是的充要条件是,存在常数存在常数a,b使得使得PY=aX+b=1证明证明 令)()()()(YDYEYYXDXEXX由XY2=E(X*Y*)2E(X*)E(Y*)=1 知|XY|=1等价于E(X*Y*)2-E(X*)E(Y*)=

7、0 它又等价于h(t)=E(tX*-Y*)2=0有重根t0.又因为E(t0X*-Y*)=t0E(X*)-E(Y*)=0所以D(t0X*-Y*)=0,由方差的性质知它等价于 Pt0X*-Y* =0=1,即PY=aX+b=1其中a=t0(Y)/(X),b=E(Y)- t0 E(X) (Y)/(X).*0)()(),(YDXDYXCovXY 性质性质3:若X与Y相互独立,则XY=0.证明证明 若X与Y相互独立,则E(XY)=E(X)E(Y),又 Cov(X,Y)= E(XY)-E(X)E(Y),所以*2.2 相关系数的含义相关系数的含义0)(2)(2)(20)(2)(222XaEXYEXbEbeYE

8、XbEaae)(),()()(,)(),(00XDYXCovXEYEaXDYXCovb)()1 ()(22,YDbXaYEXYbaMin 考虑以X的线性函数a+bX来近似表示Y.以均方误差e=EY-(a+bX)2 =E(Y2)+b2E(X2)+a2-2bE(XY)+2abE(X)-2aE(Y)来衡量以a+bX近似表达Y的好坏程度.e的值越小表示a+bX与Y的近似程度越好.为此令从而得解得* 相关系数只是随机变量间线性关系强弱的一个度量.当|XY|=1 时,说明X与Y间存在着线性关系(除去一个零概率事件以外).当|XY|1 时,这种线性相关程度随着XY的减小而减弱. 定义定义:(1) 当XY=1

9、 时,称X与Y正线性相关; (2)当XY=-1 时,称X与Y负线性相关; (3)当XY=0时,称X与Y不相关. 注注:(1) X与Y不相关,只是意味着X与Y不线性相关,但可能存在着别的函数关系;(2)若XY存在,则当X与Y独立时, X与Y一定不相关;但X与Y不相关时, X与Y不一定独立.*oXYoooXXXYYY01-10 =1 =-1相关情况示意图*(, )()()( )Cov X YE XYE XE Y证证 由协方差的定义及数学期望的性质，得 (, )()( )Cov X YEXE XYE Y( )()()( )E XYX E YY E XE XE Y()()( )( )()()( )E

10、XYE XE YE YE XE XE Y()()( )E XYE XE Y定理定理:3 协方差的协方差的关系式关系式*()()( )2(, )D XYD XD YCov X Y证证 由方差公式及协方差的定义，得 2()()()D XYEXYE XY2()( )EXE XYE Y22()( )2()( )EXE XYE YXE XYE Y22()( )2 ()( )E XE XE YE YE XE XYE Y()( )2(, )D XD YCov X Y定理定理:*Y X-10100.070.180.1510.080.320.20解解 X与Y的分布律分别为 X-101P0.150.50.35Y0

11、1P0.40.6*()( 1) 1 0.08 1 1 0.200.12 E XY()( 1)0.151 0.350.20 E X( )1 0.60.6 E Y于是 (, )()()( )0.120.20 0.60Cov X YE XYE XE Y(, )0()( )XYCov X YD XD Y* 解解 1(, )()( )4 923XYCov X YD XD Y()(2)(2)( )2(2, )D UDXYDXD YCovX Y4()( )22(, )33D XD YCov X Y ( )(2)(2)( )2(2, )D VDXYDXD YCovX Y4()( )2 2(, )17D XD YCov X Y *( ,)(2,2)Cov U VCovXYXY(2,2)(2, )( ,2)( , )CovXXCovX YCov YXCov Y Y4()( )7D XD Y( , )7( )( )551UVCov U VD UD V所以因此*谢谢！*