三章多元正态分布课件.ppt

1、第三章 多元正态分布v3.1 多元正态分布的定义v3.2 多元正态分布的性质v3.3 极大似然估计及估计量的性质v3.4 复相关系数和偏相关系数v3.5 和(n 1)S的抽样分布v*3.6 二次型分布x13.1 多元正态分布的定义v一元正态分布N(,2)的概率密度函数为v若随机向量 的概率密度函数为则称x服从p元正态分布，记作xNp(,)，其中，参数和分别为x的均值和协差阵。2221 211 2221e212exp,2xf xxxx 12(,)px xxx 1 22112exp2pfxxx2例3.1.1（二元正态分布）v设xN2(,)，这里易见，是x1和 x2的相关系数。当|0)作如下的剖分：

2、2111,nnniipiiiiiiikNkkx111112222122,kkkpkpkpkkpkxxx12 则子向量x1和x2相互独立，当且仅当12=0。可作一般化推广，并对于多元正态变量而言，其子向量之间互不相关和相互独立是等价的。v例3.2.5 设xN3(,)，其中则x2和x3不独立，x1和(x2,x3)独立。v(7)设xNp(,),0，则v*(8)略 12pxx 30005101113v*(9)略v*(10)略v(11)设xNp(,),0，作如下剖分则给定x2时x1的条件分布为 ，其中12和112分别是条件数学期望和条件协方差矩阵，112通常称为偏协方差矩阵。11 21122222111

3、 211122221x 1 211 2,kN111112222122,kkkpkpkpkkpkxxx14这一性质可作一般化推广，并对于多元正态变量，其子向量的条件分布仍是（多元）正态的。v例3.2.7 设xN3(,)，其中试求给定x1+2x3时 的条件分布。116420,4412214 231xxx15v解 令，于是2312121,2xxyxxxy23111221231212011=100210201112=10001102230111642011=100441100102214102xxxxxyxxxEyVyyyy106166162016204016v给定y2时y1的条件均值和条件协差阵分别

4、为 所以213221324244216155555+3=12011114022222231061632116,205616204026yxxyyxx 13231221132443325552,51126222xxxxxxNxxx 173.3 极大似然估计及估计量的性质v简单随机样本（简称样本）：满足：x1,x2,xn独立，且与总体分布相同。v设xNp(,),0，x1,x2,xn是从中抽取的一个样本。v数据矩阵或观测值矩阵：v一、极大似然估计v二、估计量的性质11121121222212ppnnnpnxxxxxxxxxxxXx18一、极大似然估计v1.和的极大似然估计v2.相关系数的极大似然估计

5、191.和的极大似然估计v似然函数：是样本联合概率密度 f(x1,x2,xn)的任意正常数倍，记为L(,)。不妨取12121 211211,12exp212exp2nniinpiiinnpiiiLff x xxxxxxx20极大似然估计v一元正态情形：v多元正态情形：其中 称为样本均值向量（简称为样本均值），称为样本离差矩阵，称为样本协方差矩阵。222,221,max,1,niiLLxxxn ,max,11,LLnnn xASx1niiiAxxxx11nSA212.相关系数的极大似然估计v相关系数ij的极大似然估计为其中 。称rij为样本相关系数、为样本相关矩阵。12211()()()()nk

6、iikjjijijkijnniijjiijjkiikjjkkxxxxsrssxxxx 12,ijijpsx xxSx ijrR22二、估计量的性质v1.无偏性v2.有效性v3.一致性v4.充分性231.无偏性v如果 ，则称估计量 是被估参数的一个无偏估计，否则就称为有偏的。v 。v ，是的有偏估计。vE(S)=。E Ex 1nEn24v证明 11111=1=11111niiiniiiniiiniiEEnEnEnnnVnVnnnnnnxxxxxxxxxxxxxx252.有效性v设 是的一个无偏估计，若对的任一无偏估计 有 即 为非负定矩阵，则称 为的一致最优无偏估计。v可以证明，对于多元正态总体

7、，和S分别是和的一致最优无偏估计。VV，VV-x263.一致性v如果未知参数（可以是一个向量或矩阵）的估计量 随着样本容量n的不断增大，而无限地逼近于真值，则称 为的一致估计，或称相合估计。v估计量的一致性是在大样本情形下提出的一种要求，而对于小样本，它不能作为评价估计量好坏的准则。v可以证明，和（或S）分别是和的一致估计 （无需总体正态性的假定）。nnx274.充分性v如果一个统计量能把含在样本中的有关总体（或有关未知参数）的信息一点都不损失地充分提取出来，则这种统计量就称为充分统计量。v可以证明，对于总体Np(,)，当已知时，是的充分统计量；当已知时，是的充分统计量；当和均未知时，(,A)

8、是(,)的充分统计量。v用来作为估计量的充分统计量称为充分估计量。A,S这三者之间只相差一个常数倍，所含的信息完全相同，故当和均未知时，也都是(,)的充分统计量。v若按无偏性的准则，则可采用(,S)作为未知参数(,)的充分估计量。x11=niiinxxx,x x S和x283.4 复相关系数和偏相关系数 v一、复相关系数v*二、最优线性预测v三、偏相关系数29一、复相关系数v（简单）相关系数度量了一个随机变量x与另一个随机变量y之间线性关系的强弱。v复相关系数度量了一个随机变量y与一组随机变量x1,x2,xp之间线性关系的强弱。v设,1yyxyyxyxxxxyxyxxyyEVyxxRx的相关矩

9、阵30v则y和x的线性函数lx（l 0）间的最大相关系数称为y和x间的复（或多重）相关系数（multiple correlation coefficient），记作yx或y1,2,p，它度量了一个变量y和一组变量x1,x2,xp间的相关程度。v若x1,x2,xp互不相关，则有111max,yxyxxxyxxxyxyxxxyyyyyxll x x R 021221,yxyxxxyxyxypy xy xx R 31v例3.4.1 试证随机变量x1,x2,xp的任一线性函数F=a1x1+a2x2+apxp与x1,x2,xp的复相关系数为1。证明1,2,1 1221 1221,2,1max,11Fpp

10、pppFpF l xl xl xF a xa xa xl032yx的极大似然估计v设 这里np，则在多元正态的假定下，复相关系数yx的极大似然估计为 称为样本复相关系数。1xyyyxyxyxxxyxxsyyVrssSxxrR样本，的样本相关矩阵11xyxxxyyxyxxxyyyrsxs S sr R r33v例3.4.2 今对31个人进行人体测试，考察或测试的七个指标是：年龄(x1)、体重(x2)、肺活量(x3)、1.5英里跑的时间(x4)、休息时的脉搏(x5)、跑步时的脉搏(x6)和跑步时记录的最大脉搏(x7)。数据列于表3.4.1。可算得x3与x1,x2,x4,x5,x6,x7的样本复相关

11、系数3 1,2,4,5,6,70.9209r34编号x1x2x3x4x5x6x714489.4744.60911.376217818224075.0745.31310.076218518534485.8454.2978.654515616844268.1559.5718.174016617253889.0249.8749.225517818064777.4544.81111.635817617674075.9845.68111.957017618084381.1949.09110.856416217094481.4239.44213.0863174176103881.8760.0558.634

12、8170186114473.0350.54110.1345168168124587.6637.38814.0356186192134566.4544.75411.1251176176144779.1547.27310.647162164155483.1251.85510.3350166170164981.4249.1568.9544180185175169.6340.83610.9557168172185177.9146.6721048162168194891.6346.77410.2548162164204973.3750.38810.0876168168215773.3739.40712.

13、6358174176225479.3846.0811.1762156165235276.3245.4419.6348164166245070.8754.6258.9248146155255167.2545.11811.0848172172265491.6339.20312.8844168172275173.7145.7910.4759186188285759.0850.5459.9349148155294976.3248.6739.456186188304861.2447.9211.552170176315282.7847.46710.553170172表3.4.1 人体的测试数据35*二、最

14、优线性预测v当我们用x的函数g(x)来预测y时，可用均方误差Ey g(x)2作为预测精度的度量。如果限制g(x)为线性函数，则使 Ey g(x)2达到最小的线性预测函数是 即有v称 为用x对y的最优线性预测。1yxyxxxy x 22mingE yyE ygxx y1,xyxxyy yyx x36v最优线性预测 的均方误差v 的精度与yy和yx有关。v被预测变量y可作如下分解：=最优线性预测+预测误差 221111111122Cov,2Cov,1yxyxxxxyxxxyxxxyxxyyxyxxxxxxxyxxxyyyxyxxxyyyyE yyE yV yV yVyyx x x x x x 11

15、yxyxxxyxyxxxyyyyy x x（受x线性影响部分）（不受x线性影响部分）37v预测误差部分可看作是从y中扣除x的线性影响后剩余的部分，它不受x的线性影响，因为称之为总体复判定系数，它表示y的方差可由x1,x2,xp联合解释的比例，该值越大，表明预测效果越好。111Cov,Cov,Cov,yxyxxxxyxxxyxxxyxyxyyyVx xxx xx 0 2211yyyyyyyV yV yV yyE yyV yyV y x38v在y对x1,x2,xp的多元线性回归模型中，可以证明：v(1)y与预测值 的样本相关系数等于y与x1,x2,xp的样本复相关系数，即v(2)（样本）复判定系数

16、为v例3.4.3 在例3.4.2中，建立x3对x1,x2,x4,x5,x6,x7的六元线性回归模型，拟合函数为可用来对x3进行预测，复判定系数R2=0.8480，（样本）复相关系数 ，也是x3与预测值 的样本相关系数。,yr y yrx22yRrx31245670.0722.6810.0010.3730.305xxxxxxx=102.238-0.22023 1,2,4,5,6,70.9209rR3 1,2,4,5,6,7r3 x39三、偏相关系数v两个变量之间的相关性，除了受这两个变量彼此间的影响外，常常还受其他一系列变量的影响。由于这个原因，相关系数有时也称为总（或毛，gross）相关系数，

17、其意思是包含了由一切影响带来的相关性。v顺便指出，相关系数有时亦称为简单相关系数或皮尔逊（Pearson）相关系数或零阶偏相关系数。40v例3.4.4 x1家庭的饮食支出 x2家庭的衣着支出 x3家庭的收入x1和x2之间存在着较强的正相关性。x3分别与x1和x2的强正相关性导致了x1和x2的较强正相关性。如果我们能用某种方式把x3的影响消除掉，或者说控制了x3（即x3保持不变），则x1和x2之间（反映净关系）的相关性可能就很不一样了，很有可能会显示负相关性。41v将x,(0),S剖分如下：称 为给定x2时x1的偏协方差矩阵。记 ，称 为偏协方差，它是剔除了 的（线性）影响之后，xi和xj之间的

18、协方差。111121112221222122,kkkpkpkpkkpkkpkxSSxSxSS111 211122221 11 21,ij kp1,ij kp21,kpxxx42v给定x2时xi 和xj的偏相关系数（partial correlation coefficient）定义为其中 。vijk+1,p度量了剔除xk+1,xp的（线性）影响之后，xi和xj间相关关系的强弱。v对于多元正态变量x，由于112也是条件协方差矩阵，故此时偏相关系数与条件相关系数是同一个值，从而ijk+1,p同时也度量了在xk+1,xp值给定的条件下xi和xj间相关关系的强弱。1,1,1,1,1,ij kpij k

19、pii kpjj kpi jk11 21,ij kp43v一阶偏相关系数可直接由相关系数算得。设x1,x2,x3是三个随机变量，则有v(1)12=0并不意味着123=0，反之亦然。v(2)12与123未必同号。v此外，12与123之间孰大孰小也没有必然的结论。12132312 322132313122313 222122323121323 1221213111111 44v偏相关系数的一般递推公式：v在多元正态性的假定下，ijk+1,p的极大似然估计为其中 。称rijk+1,p为样本偏相关系数。2,12,12,1,22,12,12,11ij kpi kkpj kkpij kpi kkpj kk

20、p1,1,1,1,1,ij kpij kpii kpjj kpsri jkss111 2111222211,ij kpsSSS S S45v例3.4.5 假设对16个婴儿测量了出生体重（盎司）、出生天数（日）及舒张压（mmHg），数据见表3.4.2。表3.4.2 16个婴儿的出生体重、年龄及血压的数据编号出生体重（x1）出生天数（x2）舒张压（x3）11353892120490310038341052775130492612559871252828105385912059610904951112028012953791312038614150497151603921612538846 在控制出

21、生天数后，舒张压与出生体重的样本偏相关系数为 在控制出生体重后，舒张压与出生天数的样本偏相关系数为10.10680.44110.106810.87080.44110.87081R1312 3213 2222212320.44110.10680.87080.71211110.106810.8708rr rrrr2321 3123 1222221310.87080.10680.44110.92311110.106810.4411rr rrrr473.5 和(n 1)S的抽样分布v一、的抽样分布v*二、(n 1)S的抽样分布xx48一、的抽样分布v1.正态总体 设xNp(,),0，x1,x2,xn是

22、从总体x中抽取的一个样本，则v2.非正态总体（多元中心极限定理）设x1,x2,xn是来自总体x的一个样本，和存在，则当n很大且n相对于p也很大时，1,pNnxx,nNx0近似49*二、(n1)S的抽样分布v设随机矩阵X=(x1,x2,xq)=(xij)：pq，称“vec”为拉直运算。当X=X时，因xij=xji，故只需取其下三角部分组成一个缩减了的长向量，记作vech(X)，即vech(X)=(x11,xp1,x22,xp2,xp1,p1,xp,p1,xpp)vX的分布是指vec(X)或（当X=X时）vech(X)的分布。v拉直运算将矩阵分布问题转化为了向量分布的问题。12vecqxxXx50

23、v设随机向量x1,x2,xn独立同分布于Np(0,)，0，np，则p阶矩阵 的分布称为自由度为n的（p阶）威沙特（Wishart）分布，记作Wp(n,)。当p=1，=2=1时，显然有，即有W1(n,1)=2(n)因此，威沙特分布是卡方分布在多元场合下的一种推广。1niiiWx x 221niiWxn51威沙特分布的性质v(1)设WiWp(ni,)，i=1,2,k，且相互独立，则W1+W2+WkWp(n1+n2+nk,)v(2)设WWp(n,)，C为qp常数矩阵，则CWCWq(n,CC)v设x1,x2,xn是取自Np(,)，0的一个样本，np，则可以证明，和S相互独立，且有(n1)SWp(n1,)x52