《应用多元统计分析》课件yydyfx2.ppt

1、1 应用多元统计分析 第二章第二章 多元正态分布及多元正态分布及 参数的估计参数的估计2 在多元统计分析中在多元统计分析中,多元正态分布占有相当多元正态分布占有相当重要的地位重要的地位.这是因为许多实际问题涉及到的随这是因为许多实际问题涉及到的随机向量服从正态分布或近似服从正态分布机向量服从正态分布或近似服从正态分布;当样当样本量很大时本量很大时,许多统计量的极限分布往往和正态许多统计量的极限分布往往和正态分布有关分布有关;此外此外,对多元正态分布对多元正态分布,理论与实践都理论与实践都比较成熟比较成熟,已有一整套行之有效的统计推断方法已有一整套行之有效的统计推断方法.基于这些理由基于这些理由

2、,我们在介绍多元统计分析的种我们在介绍多元统计分析的种种具体方法之前，首先介绍多元正态分布的定种具体方法之前，首先介绍多元正态分布的定义、性质及多元正态分布中参数的估计问题义、性质及多元正态分布中参数的估计问题.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计3第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计目目 录录2.1 随机向量随机向量2.2 多元正态分布的定义与多元正态分布的定义与 基本性质基本性质2.3 条件分布和独立性条件分布和独立性2.4 随机矩阵的正态分布随机矩阵的正态分布2.5 多元正态分布的参数估计多元正态分布的参数估计4 本课程所讨论的是多变量

3、总体本课程所讨论的是多变量总体.把把p个随机变量放在一起得个随机变量放在一起得 X=(=(X1 1,X2 2,Xp)为一个为一个p维随机向量维随机向量,如果同时对如果同时对p维维总体进行总体进行一次观测一次观测,得一个样品为得一个样品为 p 维数据维数据.常把常把n个样品排成一个个样品排成一个np矩阵矩阵,称为样本资料阵称为样本资料阵.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计 2.1 2.1 随随 机机 向向 量量5第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.1 2.1 随随 机机 向向 量量 其中其中 X(i)(i=1,=1,n)是来自是来自p维总

4、体的一个样品维总体的一个样品.)()2()1(212222111211nnpnnppXXXxxxxxxxxxXdef =(X1 1,X2 2,Xp)def6 在多元统计分析中涉及到的都是随机向量在多元统计分析中涉及到的都是随机向量,或是多个随机向量放在一起组成的随机矩阵或是多个随机向量放在一起组成的随机矩阵.本节有关随机向量的一些概念本节有关随机向量的一些概念(联合分布联合分布,边缘分布边缘分布,条件分布条件分布,独立性独立性;X的均值向量的均值向量,X的协差阵和相关阵的协差阵和相关阵,X与与Y的协差阵的协差阵)要求大家要求大家自已复习自已复习.三三 均值向量和协方差阵的性质均值向量和协方差阵

5、的性质 (1)(1)设设X,Y为随机向量为随机向量,A,B为常数阵为常数阵,则则 E(AX)=AE(X)E(AXB)=AE(X)B 第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计 2.1 2.1 随随 机机 向向 量量 7 D(AX)=AD(X)A COV(AX,BY)=ACOV(X,Y)B (2)若若X,Y相互独立相互独立,则则COV(X,Y)=O;反之反之不成立不成立.若若COV(X,Y)=O,我们称我们称X与与Y不相关不相关.故有故有:两随机向量若相互独立两随机向量若相互独立,则必不相关则必不相关;两随机向量若不相关两随机向量若不相关,则未必相互独立则未必相互独立.(3)

6、随机向量随机向量X=(=(X1 1,X2 2,Xp)的协差阵的协差阵D(D(X)=)=是对称非负定阵是对称非负定阵.即即 =,0(为任给的为任给的p维常量维常量).第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计 2.1 2.1 随随 机机 向向 量量 8第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计 2.1 2.1 随机向量随机向量协差阵的性质协差阵的性质 (4)=L2,其中其中L为非负定阵为非负定阵.由于由于0(非负定非负定),利用线性代数中实对称阵的对角化定理，存利用线性代数中实对称阵的对角化定理，存在正交阵在正交阵,使使LLpp000011.0,1LLLO

7、OLp故，其中9第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计 2.1 2.1 随机向量随机向量协差阵的性质协差阵的性质 当矩阵当矩阵0(正定正定)时，矩阵时，矩阵L也称为也称为的平方根的平方根矩阵，记为矩阵，记为1/2.当矩阵当矩阵0(正定正定)时时,必有必有pp非退化非退化矩阵矩阵A使得使得 =AA .1pOOA其中10第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计 2.1 2.1 随机向量随机向量协差阵的性质协差阵的性质 若若0(非负定非负定),必有必有pq矩阵矩阵A1使得使得 =A1A1).(111pqOOAq其中 这里记这里记=(1|2),1为为pq列

8、正交阵列正交阵(p q).并设：并设：.0,0),1(01pqiqi11 在一元统计中，若在一元统计中，若UN(0,1),N(0,1),则则U的任意的任意线性变换线性变换X=X=U+N(N(,2 2)。利用这一性质，利用这一性质，可以从标准正态分布来定义一般正态分布：可以从标准正态分布来定义一般正态分布：若若UN(0,1),N(0,1),则称则称X=U+的分布为的分布为一般正态分布一般正态分布,记为记为X N(N(,2 2)。此定义中，不必要求此定义中，不必要求0,0,当当退化为退化为0 0时仍时仍有意义。把这种新的定义方式推广到多元情况有意义。把这种新的定义方式推广到多元情况，可得出多元正态

9、分布的第一种定义。，可得出多元正态分布的第一种定义。第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义多元正态分布的定义12 定义2.2.1 设设U=(U1,Uq)为随机向量为随机向量,U1,Uq相互独立且同相互独立且同N(0N(0，1)1)分布；设分布；设为为p维维常数向量，常数向量，A为为p pq q常数矩阵，则称常数矩阵，则称X=AU+的分布为的分布为p p维正态分布，或称维正态分布，或称X为为p p 维正态随机维正态随机向量向量,记为记为X N Np(,AA)。简单地说，称简单地说，称q q个相互独立的标准正态随机个相互独立的标准正态随机变

10、量的一些线性组合构成的随机向量的分布为变量的一些线性组合构成的随机向量的分布为多元正态分布。多元正态分布。第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的多元正态分布的第一种第一种定义定义13第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质1 1 在一元统计中在一元统计中,若若XN(N(,2 2),),则则X的特征函数为的特征函数为 (t t)=E(e)=E(ei itXtX)=exp)=expi it t-t t 2 22 2/2/2dxEtxitxitX222)(ee21)e()(

11、duuuitxu2)(/)(2ee2114第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质1 1duitituituit)()(221222e21eduitituit22)(21)(21ee21e21expie2121expi22)(21222ttduttitu15 性质性质1 1 设设U=(U1,Uq)为随机向量为随机向量,U1,Uq 相互独立且同相互独立且同 N(0N(0,1)1)分布；令分布；令X=+AU,则则X的特征函数为的特征函数为第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分

12、布的性质多元正态分布的性质1 1.21exp)(tAAtt itX这里这里t=(t1,tp),故故X(t)为为p元函数元函数.当当 XN(0,1)时时,(t)=exp-t 2/2.16 性质性质1 1的的证明证明 ：根据随机向量特征函数的定义和性质，经计算即可根据随机向量特征函数的定义和性质，经计算即可得出得出X X的特征函数为的特征函数为 X(t)=E(eE(ei it t X)=E(e)=E(ei it (AU+)第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质1 1)e(E)exp(AUt it i令令tA=s=(s1,s

13、q)ee(E)exp()e(E)exp(1111)(qqqqUisUisUsUsit it i17第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质1 1qjjst i12)21exp()exp()e(E)e(E)exp(11qqUisUist i(因因U1,Uq相互独立相互独立,乘积的期望等于期望的乘积乘积的期望等于期望的乘积)(21exp)exp(221qsst i)21exp()21exp(tAAtt isst i18 定义定义2.2.22.2.2 若若p维随机向量维随机向量X的特征函数的特征函数为为:第二章第二章 多元正态

14、分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的第二种定义多元正态分布的第二种定义)0(2exp)(ttittX2exp2exp)(222titttt it一元正态一元正态:(p=1)则称则称X服从服从 p 维正态分布维正态分布,记为记为 X Np(,).记记=AA，则有以下定义。，则有以下定义。19 性质性质2 2 设设XN Np p(,),B为为sp常数阵常数阵，d为为s1 1常向量，令常向量，令Z=BX+d,则则 ZNs(B+d,BB ).该性质指出正态随机向量的任该性质指出正态随机向量的任意线性组合仍为正态分布意线性组合仍为正态分布.第二章第二章 多元正态分布及参

15、数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质2 220第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质2 2 证明证明 因因 0,可分解为可分解为=AA ,其中其中A为为pq 矩阵矩阵.已知已知XNp(,),由定义由定义2.2.12.2.1可知可知 X=AU+(d d表示两边的随机向量服从相同的分布表示两边的随机向量服从相同的分布.).)其中其中U=(U1,Uq),且且U1,Uq 相互独相互独立同立同 N(0N(0，1)1)分布。分布。d21 Z=BX+d=B(AU+)+d第二章第二章 多

16、元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质2 2d =(BA)U+(B+d)由定义由定义2.2.12.2.1可知可知 Z N Ns s(B+d,(BA)(BA)，即即 Z N Ns s(B+d,BB).).(这里这里=AA).).22 推论推论 设设X=N Np(,),将将,剖剖分为分为第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布性质多元正态分布性质2 2的推论的推论则则 X(1)(1)N Nr(1 1),1111),),X(2)(2)N Np-r(2)(2),2222).).X(1)(1)r

17、X(2)(2)p-rrprrpr22211211)2()1(,23证明：证明：由性质由性质2 2可得：可得：类似地类似地第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布多元正态分布性质性质2的推论的推论,0,11drOIBrpr维向量取则维向量取,0,2(2drpIOBrppp-r).,(11)1(11)1(rNdXBX).,(22)2(22)2(rpNdXBX24 此推论指出，多元正态分布的边缘此推论指出，多元正态分布的边缘分布仍为正态分布。但反之，若随机分布仍为正态分布。但反之，若随机向量的任何边缘分布均为正态分布，向量的任何边缘分布均为正态分布，

18、也不一定能导出该随机向量服从多元也不一定能导出该随机向量服从多元正态分布正态分布.如例如例2.1.12.1.1,证明了证明了X1 1,X2均为一元正态均为一元正态分布分布,但由但由(X1,X2)联合密度函数的形式易见联合密度函数的形式易见它不是二元正态它不是二元正态.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布多元正态分布性质性质2的推论的推论25第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布多元正态分布性质性质2的推论的推论例例2.1.1 (X1,X2)的联合密度函数为的联合密度函数为e1 e21),(

19、)(2121)(212122212221xxxxxxxxf 我们从后面将给出的正态随机向量的联合密我们从后面将给出的正态随机向量的联合密度函数的形式可知度函数的形式可知,(X1,X2)不是二元正态随机向不是二元正态随机向量量.但通过计算边缘分布可得出但通过计算边缘分布可得出:X1N(0,1),X2N(0,1)这就说明若随机向量的任何边缘分布均为正态这就说明若随机向量的任何边缘分布均为正态分布时，也不一定能导出该随机向量服从多元分布时，也不一定能导出该随机向量服从多元正态分布正态分布.26第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多

20、元正态分布的定义与基本性质简单例子简单例子例如例如:设三维随机向量设三维随机向量X=(X1,X2,X3),且且),300021011,002(321NXXXX则有则有(1)X1 N(2,1),)3002,00(232NXX27第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质简单简单例子例子,001100010321132BXXXXXXXY令由性质由性质2知知,Y为为3维正态随机向量维正态随机向量,且且200002001100010 xyB(2)28第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计

21、2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质简单简单例子例子101030102010001100011300021010001100300021011001100010BBxy).101030102,200(132NXXXY故29第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质简单简单例子例子 (3)设设Z=2 X1-X2+3X3,试求随机变量试求随机变量Z的分布的分布.Z=2 X1-X2+3X3=(2,-1,3)X=CX故有故有:4002)3,1,2(xzC293129,0,13

22、12300021011)3,1,2(2CCxz所以所以 Z N(4,29).30 性质性质3 3 若若XN Np p(,),E(X)=)=,D(X)=)=.证明证明 因因0,0,可分解为：可分解为：=AA，则由定义则由定义2.2.12.2.1可知可知 X=AU+(A为为pq实矩阵实矩阵)其中其中U=(U1,Uq),),且且U1,Uq相互独立同相互独立同N(0N(0，1)1)分布分布,故有故有 E(U)=0,)=0,D(U)=)=Iq.d第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质3 331第二章第二章 多元正态分布及参数的估

23、计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质3 3利用均值向量和协差阵的有关性质可得：利用均值向量和协差阵的有关性质可得：此性质给出多元正态分布中参数此性质给出多元正态分布中参数和和的的明确统计意义明确统计意义.是随机向量是随机向量X的均值向量，的均值向量，是随机向量是随机向量X的协差阵。的协差阵。.)()()(,)()()(AAIAUDAUDXDUAEAUEXEq 如简单例子中如简单例子中,由性质由性质2知知Z服从正态分布服从正态分布,利用性质利用性质3,.29)()(,4)()(2ZxzxzCCCXDZDCCXEZE32 性质性质4 4 设设X=(=(X1

24、,Xp)为为p维随机向量维随机向量，则，则X服从服从p维正态分布维正态分布 对任一对任一p维实维实向量向量a,=aX是一维正态随机变量是一维正态随机变量.必要性的证明由性质必要性的证明由性质2 2即得（只须取即得（只须取B=a,d=0=0即可）即可）.充分性的证明充分性的证明：首先说明随机向量首先说明随机向量X的均值和协方差阵存在的均值和协方差阵存在:因对任给因对任给p维实向量维实向量 tR p,=tX一元正一元正态分布，可知态分布，可知的各阶矩存在的各阶矩存在，第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质4 433第二章第

25、二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质4 4如取如取t t=ei =(0,=(0,1,1,0),0),Xi=eiX,且且 E(E(Xi)(i=1,2,p)存在存在.E(Xi2)(i=1,2,p)也存在也存在.再比如取再比如取 t t=(0,=(0,1,0,1,0,1,.,0)1,.,0),=t X=Xi+Xj,且且 E(E()=E(Xi+Xj)(i,j=1,2,p)存在存在.E(2)=E(Xi+Xj)2=E(Xi2)+2E(XiXj)+E(Xj2)也存在也存在,即即E(XiXj)(i,j=1,2,p)存在存在.故故E(E(Xi

26、),Cov(),Cov(Xi,Xj)=E(XiXj)-E(Xj)E(Xi)(i,j=1,=1,p)存在存在.34第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质4 4记记 E(X)=)=,D(X)=)=.计算计算的特征函数的特征函数:对任意给定的对任意给定的tRp,因因随机变量随机变量=t X服从服从N(t,t t).，故知，故知的特征函数为的特征函数为 ()=E(ei)=expi(t)-2(t t)/2 计算随机向量计算随机向量X的特征函数的特征函数:在在的特征函数中，取的特征函数中，取=1，即得，即得35第二章第二章 多元正

27、态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的第三种定义多元正态分布的第三种定义 (1)=E(ei)=E(e it X)=X(t)=expit -t t/2由定义由定义2.2.2可知，可知，XNp(,).定义定义2.2.32.2.3 若若p维随机向量维随机向量X的任意线的任意线性组合均服从一元正态分布，则称性组合均服从一元正态分布，则称X为为p维正态随机向量维正态随机向量.36第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 一元正态分布的密度函数一元正态分布的密度函数 在概率论中大家都知道一元正态随机在概率论中大家都知道一元正态随机变量的

28、密度函数是变量的密度函数是这个式子可改写为这个式子可改写为:)0()(222)(xe21xf)()()(21exp)2()(1221221xxf1x37 作为一元正态随机变量的推广，以下性质来作为一元正态随机变量的推广，以下性质来导出多元正态随机向量的联合密度函数导出多元正态随机向量的联合密度函数.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 性质性质5 5 设设XN Np(,),且且0(0(正定正定),),则则X的联合密度函数为的联合密度函数为 )()()(21exp)2()(1212xxp1xf)()()(21ex

29、p21121xx38第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 证明证明 因因0,rk()=0,rk()=p,由线性由线性代数的知识知存在代数的知识知存在非奇异方阵非奇异方阵A,使得使得 =AA，且且 X=AU+其中其中U=(=(U1,Up),),且且U1,Up相互独相互独立同立同N(0N(0，1)1)分布。分布。uuufpU21exp)2(1)(2d U的联合密度函数的联合密度函数(p元函数）元函数）为为39第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布

30、的性质5 5 利用利用U的联合密度函数及随机向量的的联合密度函数及随机向量的变换求变换求X=AU+的密度函数。的密度函数。对任给对任给BorelBorel可测集可测集B B，求求p元函数元函数fX(x)使得使得()()XBUDP XBfx dxP UDfu du其中其中 D=u|u=A-1(x-),x B40第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5根据附录根据附录8(P397)公式公式(8.4),即有即有以下来求以下来求JacobiJacobi行列式行列式J(ux).BXBUDUdxxfdxxuJxAfxAuduu

31、fBXP)()()()()(1141第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 积分变换的积分变换的JacobiJacobi行列式行列式J(ux)可利用可利用线性变换线性变换x=Au+及及J(xu)来计算：来计算：21211111)(AAAuxuxuxuxuxuxJpppp因因ppppppppuauaxuauax.11111111向量微商的公式见附录向量微商的公式见附录8(8.1)42第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 关于积分变换

32、的关于积分变换的JacobiJacobi行列式行列式J(ux)的有关内容请参阅附录部分。的有关内容请参阅附录部分。.)(1)(21uxJxuJ故故43第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 写出写出X=AU+的密度函数：的密度函数：)()(21exp)2(1)()(21exp)2(1)(21exp)2(1)(1212211122xxxAxAxuJuuxfpppX(这里这里=AA,)1111)()(AAAA44其中其中是是p维实向量维实向量,是是p阶正定阵阶正定阵,则称则称X=(=(X1,X2Xp)服从服从(非退化

33、的非退化的)p元正态分布元正态分布.也称也称X为为p维正态随机向量维正态随机向量,简记为简记为 XN Np(,).第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的第四种定义多元正态分布的第四种定义 定义定义2.2.42.2.4 p 维随机向量维随机向量X=(=(X1,X2Xp)的联合密度函数为的联合密度函数为)()(21exp)2(1)x(1212xxfp45 第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的多种定义及关系多元正态分布的多种定义及关系 以上给出了多元正态分布的以上给出了多元正态分布的4 4种

34、定义种定义。定义。定义2.2.42.2.4用密度函数给出定义，它可用密度函数给出定义，它可看成一元正态密度的直接推广；但在这个看成一元正态密度的直接推广；但在这个定义里要求定义里要求是正定阵是正定阵,它给出的是非退化它给出的是非退化的正态分布的定义。的正态分布的定义。另三种定义中把另三种定义中把阵推广到非负定的情阵推广到非负定的情形形,这三种定义是等价的。这三种定义是等价的。46例例2.2.1(2.2.1(二元正态分布二元正态分布)第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.1 (

35、即即1 10,0,2 20,|0,|1)1)(1)(1)试写出试写出X X的联合密度函数和边密度的联合密度函数和边密度 函数；函数；(2)(2)试说明试说明的统计意义的统计意义.),(221NXXX设0,22212121222112112147第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.1解解:（1 1）因因22212121221212122222211111111)1(1注意改注意改p26)1(222212221212148二元正态随机向量二元正态随机向量X的联合密度函数为的联合

36、密度函数为第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.1)()(21exp|21),(12/121xxxxf21112221)1(21exp121x22222221112xxx49另由性质另由性质2 2的推论，的推论，即得即得第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.1 (2)(2)因因Cov(Cov(X1,X2)=)=12 12=1 12 2,而而X1与与X2的相关

37、系数的相关系数为为故二元正态分布的参数故二元正态分布的参数就是两个分量的相关系就是两个分量的相关系数数.).,(),(22222111NXNX.)Var()Var(),Cov(),(2121212121XXXXXX50显然显然 当当=0时，f(x1,x2)=)=f1 1(x1)f2 2(x2)，即即X1与与X2相互独立相互独立.当当|=1时，|=0(退化退化,即即的列向量或行向量线性相关)，则存在非零向量则存在非零向量t=(t1,t2),使使得得t=0,从而从而t t=0，故而随机变量故而随机变量=t (X-)的方差为的方差为 Vart (X-)=t t=0,这表示这表示 PPt (X-(X-

38、)=0=1.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.151即即 t1(X1-1)+t2(X2-2)=0以概率以概率1 1成立；成立；反之，若反之，若X1与与X2以概率以概率1 1存在线性相关存在线性相关关系，则关系，则|=1.当当0 0时时,我们称我们称X1与与X2存在正相关存在正相关;当当0 0时时,我们称我们称X1与与X2存在负相关存在负相关.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性

39、质-例例2.2.12.2.152例例2.2.22.2.2 二元正态密度函数的图形及等高线的图形二元正态密度函数的图形及等高线的图形第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.2 为了对多维正态密度函数有更直观地了解，下面为了对多维正态密度函数有更直观地了解，下面的例子给出几组参数下二维正态密度函数的几何图形的例子给出几组参数下二维正态密度函数的几何图形.我们把具有等密度的点的轨迹称为等高线我们把具有等密度的点的轨迹称为等高线(面面).).显然当显然当 p=2=2 时时它是一族中心在

40、它是一族中心在(1 1,2 2 )的椭园的椭园.222222221112111212)0(),(axxxxCCxxf53一般的一般的p维正态密度等高面为维正态密度等高面为第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.2取取1 1=0,=0,2 2=0=0,以下绘制三组参数下以下绘制三组参数下二元正二元正态密度函数及密度等高线图形：态密度函数及密度等高线图形：22121,1,0（1）当当 时时22124,1,0.75 22121,1,0.75（2）当当 时时（3）当当 时时)0()()

41、(21aaxx54第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.20,1,1222155第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.275.0,1,1222156第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.275.0,1,4222157第二章第二章 多元正态分

42、布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性独立性以下是关于独立性的一条重要结论：以下是关于独立性的一条重要结论：设设XNp(,)(p2),2),将将X,剖分为剖分为,)2()1()2()1(rprrprXXX.022211211rprrpr58第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性独立性定理定理2.3.12.3.1 设设p维随机向量维随机向量XN Np(,)，则则 X(1)(1)与与X(2)(2)相互独立相互独立 1212Or(p-r)(即即X(1)(1)与与X(

43、2)(2)不相关不相关),22211211)2()1()2()1(pNXXX证明证明:必要性显然成立必要性显然成立.59第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性独立性(充分性充分性)：设：设12120 0，则则X的联合密度函数为的联合密度函数为所以所以X(1)(1)与与X(2)(2)相互独立相互独立.)2()2()1()1(12211)2()2()1()1(2/12/)2()1(0021exp|)2(1),(xxxxxxfp)()(21exp|)2(1)()(21exp|)2(1)2()2(122)2()2(2/12

44、22/)()1()1(111)1()1(2/1112/xxxxrpr),()()2(2)1(1xfxf60第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性独立性推论推论1 1 设设ri1(1(i=1,=1,k),),且且r1+r2+rk=p，则则X(1),X(k)相互独立相互独立ij0 0(一切一切ij)推论推论2 2 设设XN Np p(，)，若若为对角形矩阵为对角形矩阵，则，则X1,Xp 相互独立相互独立.kkkkkpkkpNrrXXX1111)()1(1)()1(1,61第二章第二章 多元正态分布及参数的估计多元正态分

45、布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性例子独立性例子例如例如:设三维随机向量设三维随机向量X=(X1,X2,X3),且且),300021011,002(321NXXXX则有则有(1).321相互独立与XXX)3,0();2111,02(3221NXNXX)00(12因(2)62第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性的例子独立性的例子(3)X1与与X3,X2与与X3,也相互独立也相互独立;,;2121321321也相互独立与更一般地也相互独立与XbXaXXXX(4).30041,01(

46、);41,1(,21212321NXYZNYXXY且则(5)令令63第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性例子独立性例子(6)Y的密度函数为的密度函数为)1(2exp()(2221yyfX3的密度函数为的密度函数为)32exp()(2332132xxf故二维随机向量故二维随机向量Z的联合密度函数为的联合密度函数为.6)1(2exp322),(2323xyxyf64第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布 考虑二维正态的条件分布考

47、虑二维正态的条件分布(即即p=2,2,r=1),=1),由由条件密度的定义知，当条件密度的定义知，当X2 给定时给定时,X1 的条件的条件密度为密度为 而222222211121112221212)1(21exp121),(xxxxxxf,)(),()|(2221211xfxxfxxf65第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布22222222222221112111221222222)()1(2)1(21exp1212)(exp21xxxxxx222222221112111221222)1(21exp12

48、1)(xxxxxf66第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布222211122122)1(21exp121)(xxxf22221112122122)()1(21exp121)(xxxf)|()(21122xxfxf所以所以)1(),()|(22122211121xNXX67第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布推广到p维情况，利用-1的分块求逆公式：其中类似类似 p=2=2 的方法，可证明的方法，可证明:且且 为为r

49、维正态分布维正态分布.)|()2()1(1xxf,1221212112112212212112112212212121112111211221211211)|()(),()2()1(1)2(2)2()1(xxfxfxxf68第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布 定理定理2.3.22.3.2 设设X为为p维向量维向量,X(1)(1)为为r维向量维向量,且且 则则X(2)(2)给定时给定时X(1)(1)的条件分布为的条件分布为 (X(1)(1)|X(2)(2)N Nr(1 1 2 2,11112 2),),

50、其中其中 (0)0)(1)1(2)(2)1 21222()x 111 211122221 ,22211211)2()1()2()1(pNXXX69第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布证明证明 作非奇异线性变换，令作非奇异线性变换，令因为因为 D(Z)=BB=11222111212221212200rrp rp rIIII ,)2()1(12212)2()2(12212)1()2()1(BXXXIOIXXXZZZrpr70第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分