随机向量自协方差阵-课件.ppt

1、2022-8-7中国人民大学六西格玛质量管理研究中心1第第一一章章 多元正态分布多元正态分布 目录 上页 下页 返回 结束 1.1 多元分布的基本概念多元分布的基本概念1.2 统计距离和马氏距离统计距离和马氏距离1.3 多元正态分布多元正态分布1.4 均值向量和协方差阵的估计均值向量和协方差阵的估计1.5 常用分布及抽样分布常用分布及抽样分布2022-8-7中国人民大学六西格玛质量管理研究中心2第一章第一章 多元正态分布多元正态分布 一元正态分布在统计学的理论和实际应用中都有着重要的地位。同样，在多变量统计学中，多元正态分布也占有相当重要的位置。原因是：许多随机向量确实遵从正态分布，或近似遵从

2、正态分布；对于多元正态分布，已有一整套统计推断方法，并且得到了许多完整的结果。目录 上页 下页 返回 结束 2022-8-7中国人民大学六西格玛质量管理研究中心3第一章第一章 多元正态分布多元正态分布 多元正态分布是最常用的一种多元多元正态分布是最常用的一种多元概率分布。除此之外，还有多元对数正概率分布。除此之外，还有多元对数正态分布，多项式分布，多元超几何分布，态分布，多项式分布，多元超几何分布，多元多元 分布、多元分布、多元 分布、多元指数分布、多元指数分布等。本章从多维变量及多元分布的分布等。本章从多维变量及多元分布的基本概念开始，着重介绍多元正态分布基本概念开始，着重介绍多元正态分布的

3、定义及一些重要性质。的定义及一些重要性质。2 2 目录 上页 下页 返回 结束 2022-8-7中国人民大学六西格玛质量管理研究中心41.11.1多元分布的基本概念多元分布的基本概念 目录 上页 下页 返回 结束 1.1.1 随机向量随机向量1.1.2 分布函数与密度函数分布函数与密度函数1.1.3 多元变量的独立性多元变量的独立性1.1.4 随机向量的数字特征随机向量的数字特征2022-8-7中国人民大学六西格玛质量管理研究中心51.1.1 1.1.1 随机向量随机向量 表示对同一个体观测的表示对同一个体观测的 个变量。若观测了个变量。若观测了 个个体，则可得到如下表个个体，则可得到如下表1

4、-11-1的数据，称每一个个的数据，称每一个个体的体的 个变量为一个样品，而全体个变量为一个样品，而全体 个样品形成一个样品形成一个样本。个样本。pnpn 假定所讨论的是多个变量的总体，所研究的数假定所讨论的是多个变量的总体，所研究的数据是同时观测据是同时观测 个指标（即变量），又进行了个指标（即变量），又进行了 次次观测得到的，把这观测得到的，把这 个指标表示为个指标表示为 常常用向量用向量),(21pXXXXnpXXX,21pp 目录 上页 下页 返回 结束 2022-8-7中国人民大学六西格玛质量管理研究中心6 横看表横看表1-11-1，记，记 ，它表示第它表示第 个样品的观测值。竖看表

5、个样品的观测值。竖看表1-1,1-1,第第 列的元素列的元素 表示对表示对 第个变量第个变量 的的n n次观测数值。下面为表次观测数值。下面为表1-11-1jxj),(21)(pxxxXn,2,1,),(21njjjjxxxXpj,2,1jnpxn 21 变量变量序号序号1X11x21x1nx2X12x22x2nxpXpx1px2npx 目录 上页 下页 返回 结束 1.1.1 1.1.1 随机向量随机向量2022-8-7中国人民大学六西格玛质量管理研究中心7 因此因此,样本资料矩阵可用矩阵语言表示为样本资料矩阵可用矩阵语言表示为:/)(/)2(/)1(21212222111211),(npn

6、pnnppxxxxxxxxxxxxxxxX定义定义1.11.1 设设 为为 个随机变量，由它们组成个随机变量，由它们组成的向量的向量 称为随机向量。称为随机向量。pXXX,21),(21pXXXXp 目录 上页 下页 返回 结束 1.1.1 1.1.1 随机向量随机向量若无特别说明，本书所称向量均指列向量若无特别说明，本书所称向量均指列向量2022-8-7中国人民大学六西格玛质量管理研究中心8 定义定义1.21.2 设设 是一随机向量，它是一随机向量，它的多元分布函数是的多元分布函数是),(21pXXXX1.1),(),()(1121pppxXxXPxxxFXF 式中，式中，并记成，并记成 。

7、ppRxxxX),(21FX 1.1.21.1.2 分布函数与密度函数分布函数与密度函数 描述随机变量的最基本工具是分布函数，类似地描述描述随机变量的最基本工具是分布函数，类似地描述随机向量的最基本工具还是分布函数。随机向量的最基本工具还是分布函数。目录 上页 下页 返回 结束 多元分布函数的有关性质此处从略。多元分布函数的有关性质此处从略。2022-8-7中国人民大学六西格玛质量管理研究中心91.1.21.1.2 分布函数与密度函数分布函数与密度函数(1.2),),()(111pxxpdtt dttfFpxpR1)()(0)()(xxxxdfiiRfip 目录 上页 下页 返回 结束 定义1

8、.3：设 =,若存在一个非负的函数 ,使得)(XFX),(21pxxxF f 对一切对一切 成立，则称成立，则称 （或（或 ）有分布）有分布密度密度 并称并称 为连续型随机向量。为连续型随机向量。fpRxXFXX 一个一个 维变量的函数维变量的函数 能作为能作为 中某个随机向量中某个随机向量的分布密度，当且仅当的分布密度，当且仅当pR fp2022-8-7中国人民大学六西格玛质量管理研究中心101.1.31.1.3 多元变量的独立性多元变量的独立性 目录 上页 下页 返回 结束 对一切对一切 成立。若成立。若 为为 的联合分布函的联合分布函数，数，分别为分别为 和和 的分布函数，则的分布函数，

9、则 与与 独立独立当且仅当当且仅当 （1.41.4）(1.3)()(),(yxXyYxXYPPP定义定义1.4：两个随机向量：两个随机向量 和和 称为是相互独立的，若称为是相互独立的，若),(yxFXY),(YX),(YX)()(yHxG和XYYX)()(),(yHxGyxF注意注意:在上述定义中，在上述定义中，和和 的维数一般是不同的。的维数一般是不同的。YX 若若 有密度有密度 ，用，用 分别表示分别表示 和和 的分布密度，则的分布密度，则 和和 独立当且仅当独立当且仅当 (1.5)(1.5),(YX),(yxf)()(yhxg和XXYY)()(),(yhxgyxf2022-8-7中国人民

10、大学六西格玛质量管理研究中心111.1.4 1.1.4 随机向量的数字特征随机向量的数字特征是一个是一个 维向量，称为均值向量维向量，称为均值向量.p 目录 上页 下页 返回 结束)8.1()()()2(7.1)()()1(BXAEAXBEXAEAXE当当 为常数矩阵时，由定义可立即推出如下性质：为常数矩阵时，由定义可立即推出如下性质：BA、1 1、随机向量、随机向量 的均值的均值 设设 有有 个分量。若个分量。若 存在，存在，定义随机向量定义随机向量 的均值为的均值为X),(21pXXXXiiXE)(,2,1piXp)(PP)6.1)()(2121XXEXEXEE2022-8-7中国人民大学

11、六西格玛质量管理研究中心12(1.9)()D(X ),(),(),()(),(),(),()(2122121211ijPPPPPXXCOVXXCOVXXCOVXDXXCOVXXCOVXXCOVXD1.1.4 1.1.4 随机向量的数字特征随机向量的数字特征)()(),(/XXXXXXXDEEECOV 目录 上页 下页 返回 结束 2、随机向量、随机向量 自协方差阵自协方差阵X 称它为 维随机向量 的协方差阵，简称为 的协方差阵。称 为 的广义方差，它是协差阵的行列式之值。pXX),cov(XXX2022-8-7中国人民大学六西格玛质量管理研究中心13 目录 上页 下页 返回 结束 1.1.4

12、1.1.4 随机向量的数字特征随机向量的数字特征3 3、随机向量、随机向量X X 和和Y Y 的协差阵的协差阵 设设 分别为分别为 维和维和 维随机向量，它们之间的协方差阵定义为一个维随机向量，它们之间的协方差阵定义为一个 矩矩阵，其元素是阵，其元素是 ，即即 ),(),(2121pnYYYYXXX和Xnppn),cov(jiYX)10.1(,1;,1,),(cov(),cov(pjniYXYXji是不相关的。和，称若YXYX0),cov(当当A A、B B为常数矩阵时，由定义可推出协差阵有如下性质：为常数矩阵时，由定义可推出协差阵有如下性质：),cov(),cov()()(BYXABYAXA

13、AAXADAXD2022-8-7中国人民大学六西格玛质量管理研究中心14 目录 上页 下页 返回 结束 1.1.4 1.1.4 随机向量的数字特征随机向量的数字特征（3）设）设X为为 维随机向量，期望和协方差存在记维随机向量，期望和协方差存在记 则则AAAXX)()(trEn常数阵，为nn,)(,)(AXDXE 对于任何随机向量对于任何随机向量 来说来说，其协差阵，其协差阵都是对称阵，同时总是非负定（也都是对称阵，同时总是非负定（也称半正定）的。大多数情形下是正定的。称半正定）的。大多数情形下是正定的。),(21pXXXX2022-8-7中国人民大学六西格玛质量管理研究中心15(1.11),2

14、,1,)()(),()(),(pjiXDXDXXCOVrrXXcorrjijiijPPijjiR 目录 上页 下页 返回 结束 1.1.4 1.1.4 随机向量的数字特征随机向量的数字特征 4 4、随机向量、随机向量X X 的相关阵的相关阵 若随机向量 的协差阵存在,且每个分量的方差大于零，则X X的相关阵定义为:),(21pXXXX 也称为分量 与 之间的（线性）相关系数。ijriXjX2022-8-7中国人民大学六西格玛质量管理研究中心16 在数据处理时，为了克服由于指标的量纲不同对统计分在数据处理时，为了克服由于指标的量纲不同对统计分析结果带来的影响，往往在使用某种统计分析方法之前，常析

15、结果带来的影响，往往在使用某种统计分析方法之前，常需将每个指标需将每个指标“标准化标准化”，即做如下变换，即做如下变换1/212/()1,(1.12)(var)(,)()0 ()().1 1jjjjpXE XXjpXXXXEDcorrnXXXXRRX X于是即标准化数据的协差阵正好是原指标的相关阵 (1.13)目录 上页 下页 返回 结束 1.1.4 1.1.4 随机向量的数字特征随机向量的数字特征2022-8-7中国人民大学六西格玛质量管理研究中心17中国人民大学六西格玛质量管理研究中心随机向量数字特征的随机向量数字特征的例子例子2022-8-7中国人民大学六西格玛质量管理研究中心18中国人

16、民大学六西格玛质量管理研究中心例1-1 例1-1 焊接技术培训班有10名学生：基础焊接技术（BWT），焊接技术提高（AWT）和焊接车间实践（PWW）的成绩如表1-1所示（数据文件MV_焊接成绩.BTW）。2022-8-7中国人民大学六西格玛质量管理研究中心19中国人民大学六西格玛质量管理研究中心例1-1 请注意：样本资料阵在形式上与在MINITAB软件中的工作表是完全一致的，工作表的第i行表示第i个样品，工作表的第j列表示对第j个变量的观测值，变量名称常列在表头2022-8-7中国人民大学六西格玛质量管理研究中心20中国人民大学六西格玛质量管理研究中心样本均值向量的计算2022-8-7中国人民

17、大学六西格玛质量管理研究中心21中国人民大学六西格玛质量管理研究中心样本协方差阵（也称为样本方差阵）的计算2022-8-7中国人民大学六西格玛质量管理研究中心22中国人民大学六西格玛质量管理研究中心样本协方差阵（也称为样本方差阵）的计算 由于样本协方差阵是对称的，会话区窗口结果中只显示了协方差阵的下三角部分，所以整个样本协方差阵全部写出则应是：如果采用存储功能，则存储的样本协方差阵就是整个方阵而不是三角阵，这个矩阵对角线上的3个数74.6222、70.2222、34.9，分别是基础焊接技术（BWT），焊接技术提高（AWT）和焊接车间实践（PWW）三门课成绩的样本方差。样本离差阵等于样本协方差阵

18、乘以n1，所以例1-1样本离差阵就是2022-8-7中国人民大学六西格玛质量管理研究中心23中国人民大学六西格玛质量管理研究中心样本相关阵R计算：2022-8-7中国人民大学六西格玛质量管理研究中心24中国人民大学六西格玛质量管理研究中心样本相关阵R计算：由于样本相关阵是对称的，对角线上全是1，会话区窗口结果中只显示了扣除对角线后的下三角部分，所以整个样本相关阵全部写出则应是：如果采用存储功能，则存储的样本相关阵就是方阵而不是三角阵。2022-8-7中国人民大学六西格玛质量管理研究中心251.2 1.2 统计距离和马氏距离统计距离和马氏距离 目录 上页 下页 返回 结束 欧氏距离欧氏距离马氏距

19、离马氏距离2022-8-7中国人民大学六西格玛质量管理研究中心261.2 1.2 统计距离和马氏距离统计距离和马氏距离欧氏距离欧氏距离 在多指标统计分析中,距离的概念十分重要,样品间的不少特征都可用距离去描述。大部分多元方法是建立在简单的距离概念基础上的。即平时人们熟悉的欧氏距离,或称直线距离.如几何平面上的点p=(x1,x2)到原点O=(0,0)O=(0,0)的欧氏距离,依勾股定理有(1.14)(),0(2/12221xxpd 目录 上页 下页 返回 结束 2022-8-7中国人民大学六西格玛质量管理研究中心271.2 1.2 统计距离和马氏距离统计距离和马氏距离 但就大部分统计问题而言，欧

20、氏距离是不能令人满意的。这里因为，每个坐标对欧氏距离的贡献是同等的。当坐标轴表示测量值时，它们往往带有大小不等的随机波动，在这种情况下，合理的办法是对坐标加权，使得变化较大的坐标比变化小的坐标有较小的权系数，这就产生了各种距离。欧氏距离还有一个缺点，这就是当各个分量为不同性质的量时，“距离”的大小竟然与指标的单位有关。目录 上页 下页 返回 结束 2022-8-7中国人民大学六西格玛质量管理研究中心281.2 1.2 统计距离和马氏距离统计距离和马氏距离 目录 上页 下页 返回 结束 例如，横轴 代表重量（以kg为单位），纵轴 代表长度（以cm为单位）。有四个点A、B、C、D见图1.1，它们的

21、坐标如图1.1所示1X2X2022-8-7中国人民大学六西格玛质量管理研究中心291.2 1.2 统计距离和马氏距离统计距离和马氏距离 目录 上页 下页 返回 结束 1011101251052222CDAB这时显然AB比CD要长。现在，如果 用mm作单位，单位保持不变，此时A坐标为（0，50），C坐标为（0，100），则2X1X100011100260010502222CDAB结果CD反而比AB长！这显然是不够合理的。2022-8-7中国人民大学六西格玛质量管理研究中心301.2 1.2 统计距离和马氏距离统计距离和马氏距离 目录 上页 下页 返回 结束 因此，有必要建立一种距离，这种距离要能

22、够体现各个变量在变差大小上的不同，以及有时存在着的相关性，还要求距离与各变量所用的单位无关。看来我们选择的距离要依赖于样本方差和协方差。因此，采用“统计距离”这个术语，以区别通常习惯用的欧氏距离。最常用的一种统计距离是印度统计学家马哈拉诺比斯（Mahalanobis）于1936年引入的距离，称为“马氏距离”。2022-8-7中国人民大学六西格玛质量管理研究中心311.2 1.2 统计距离和马氏距离统计距离和马氏距离 目录 上页 下页 返回 结束 下面先用一个一维的例子说明欧氏距离与马氏距离在概率上的差异。设有两个一维正态总体 。若有一个样品，其值在A处，A点距离哪个总体近些呢？由图1-2),(

23、:),(:22222111GG和图1-22022-8-7中国人民大学六西格玛质量管理研究中心321.2 1.2 统计距离和马氏距离统计距离和马氏距离 目录 上页 下页 返回 结束 由图1-2可看出,从绝对长度来看,A点距左面总体G1近些,即A点到 比A点到 要“近一些”（这里用的是欧氏距离，比较的是A点坐标与 到 值之差的绝对值），但从概率观点来看，A点在 右侧约4 处，A点在 的左侧约3 处，若以标准差的观点来衡量，A点离 比A点离 要“近一些”。显然，后者是从概率角度上来考虑的，因而更为合理些，它是用坐标差平方除以方差（或说乘以方差的倒数），从而化为无量纲数，推广到多维就要乘以协方差阵的逆

24、矩阵 ，这就是马氏距离的概念，以后将会看到，这一距离在多元分析中起着十分重要的作用。212121222112022-8-7中国人民大学六西格玛质量管理研究中心331.2 1.2 统计距离和马氏距离统计距离和马氏距离马氏距离马氏距离 设X、Y从均值向量为从均值向量为，协方差阵为，协方差阵为的总体的总体G中抽取的两个样品，定义X、Y两点之间的马氏距离为两点之间的马氏距离为(1.21)()(),(1/2YXYXYXdmXG(1.22)()(),(1/2XXXGdm的马氏距离为与总体定义 目录 上页 下页 返回 结束 2022-8-7中国人民大学六西格玛质量管理研究中心341.2 1.2 统计距离和马

25、氏距离统计距离和马氏距离 设设 表示一个点集，表示一个点集，表示距离，它表示距离，它 是到是到 的函数，可以证明的函数，可以证明,马氏距离符合如下距离的四条基本公马氏距离符合如下距离的四条基本公理理:EdEE),0；0),(yxdEyx,（1 1），（2 2）当且仅当当且仅当 ；0),(yxdyx（3 3）),(),(xydyxdEyx,（4 4）),(),(),(yzdzxdyxdEzyx,目录 上页 下页 返回 结束 2022-8-7中国人民大学六西格玛质量管理研究中心35 1.3 1.3 多元正态分布多元正态分布 多元正态分布是一元正态分布的推广。迄今多元正态分布是一元正态分布的推广。迄

26、今为止为止,多元分析的主要理论都是建立在多元正态多元分析的主要理论都是建立在多元正态总体基础上的总体基础上的,多元正态分布是多元分析的基础。多元正态分布是多元分析的基础。另一方面，许多实际问题的分布常是多元正态分另一方面，许多实际问题的分布常是多元正态分布或近似正态分布，或虽本身不是正态分布，但布或近似正态分布，或虽本身不是正态分布，但它的样本均值近似于多元正态分布。它的样本均值近似于多元正态分布。本节将介绍多元正态分布的定义，并简要给本节将介绍多元正态分布的定义，并简要给出它的基本性质。出它的基本性质。目录 上页 下页 返回 结束 2022-8-7中国人民大学六西格玛质量管理研究中心36 1

27、.3 1.3 多元正态分布多元正态分布 目录 上页 下页 返回 结束 1.3.1多元正态分布的定义多元正态分布的定义1.3.2多元正态分布的性质多元正态分布的性质1.3.3条件分布和独立性条件分布和独立性2022-8-7中国人民大学六西格玛质量管理研究中心371.3.1 1.3.1 多元正态分布的定义多元正态分布的定义(1.24)()()(21exp)2(1),(1/2/12/10 xxppxxf|为协差阵为协差阵的行列式。的行列式。目录 上页 下页 返回 结束 定义定义1.51.5：若：若 元随机向量元随机向量 的概率密度的概率密度函数为：函数为：p),(21pXXXX),(XpN 则称则称

28、 遵从遵从 元正态分布，也称元正态分布，也称X X为为 元正态变量。记为元正态变量。记为),(21pXXXXpp2022-8-7中国人民大学六西格玛质量管理研究中心38 定理定理1.1将正态分布的参数将正态分布的参数和和赋于了明确的赋于了明确的统计意义。有关这个定理的证明可参见文献统计意义。有关这个定理的证明可参见文献3。多元正态分布不止定义多元正态分布不止定义1.5一种形式，更广一种形式，更广泛地可采用特征函数来定义，也可用一切线性组泛地可采用特征函数来定义，也可用一切线性组合均为正态的性质来定义等，有关这些定义的方合均为正态的性质来定义等，有关这些定义的方式参见文献式参见文献3。目录 上页

29、 下页 返回 结束 1.3.1 1.3.1 多元正态分布的定义多元正态分布的定义 定理定理1.11.1：设：设 则则 ),(pNX)(,)(XDXE2022-8-7中国人民大学六西格玛质量管理研究中心391.3.2 1.3.2 多元正态分布的性质多元正态分布的性质121),()2221(21222121)(2121xxexxexxfxx 目录 上页 下页 返回 结束 1 1、如果正态随机向量、如果正态随机向量 的协方差阵的协方差阵是对角阵，则是对角阵，则X X的各分量是的各分量是相互相互独立的随机变量。证独立的随机变量。证明参见文献明参见文献44，p.p.3333。),(21pXXXX 容易容

30、易验证，验证，但，但 显然不是显然不是正态分布。正态分布。12(0,1),(0,1)XNXN),(21XX 2 2、多元正态分布随机向量、多元正态分布随机向量X X的任何一个分量子集的分布（称为的任何一个分量子集的分布（称为X X的的边缘分布）仍然遵从正态分布。而反之，若一个随机向量的任何边缘分边缘分布）仍然遵从正态分布。而反之，若一个随机向量的任何边缘分布均为正态，并不能导出它是多元正态分布。布均为正态，并不能导出它是多元正态分布。例如，设例如，设 有分布密度有分布密度21),(XXX 2022-8-7中国人民大学六西格玛质量管理研究中心40 1.3.2 1.3.2 多元正态分布的性质多元正

31、态分布的性质 目录 上页 下页 返回 结束 bA 3 3、多元正态向量、多元正态向量 的任意线性变换仍然遵从多元正的任意线性变换仍然遵从多元正态分布。即设态分布。即设 ，而，而 维随机向量维随机向量 ，其中，其中 是是 阶的常数矩阵，阶的常数矩阵，是是 维的常向量。则维的常向量。则 维随机向量维随机向量 也是正态也是正态的，且的，且 。即。即 遵从遵从 元正态分布，其均值向量元正态分布，其均值向量为为 ，协差阵为，协差阵为 。bAXZ1m),(AAbANZmAA),(21pXXXX),(pNXm)(ijaA pmbmmZZm 4 4、若、若 ，则，则 若为定值，随着若为定值，随着 的变化其轨迹

32、为一椭球面，是的变化其轨迹为一椭球面，是 的密度函数的密度函数的等值面的等值面.若若 给定，则给定，则 为为 到到 的马氏距离。的马氏距离。XX,pXN212()dXXp2dX2dX2022-8-7中国人民大学六西格玛质量管理研究中心41 1.3.3 1.3.3 条件分布和独立性条件分布和独立性(1.25),22211211)2()1()2()1(XXX 目录 上页 下页 返回 结束 我们希望求给定我们希望求给定 的条件分布，即的条件分布，即 的分布。下一个定理指出：的分布。下一个定理指出：正态分布的条件分布仍为正态分布。正态分布的条件分布仍为正态分布。qqqX为为其中11)1()1(,1,)

33、1()2(XX时)|()2()1(XX设设 p p2,2,将将X X、和和剖分如下：剖分如下：),(pNX2022-8-7中国人民大学六西格玛质量管理研究中心42(1)(2)1 211 2(1)1(2)(2)1 21222111 211122221 (|)(,),()(1.26)(1.27)qNXX X 其中证明参见文献证明参见文献33。目录 上页 下页 返回 结束 1.3.3 1.3.3 条件分布和独立性条件分布和独立性定理定理1.21.2：设：设 ，00，则，则 ),(pNX2022-8-7中国人民大学六西格玛质量管理研究中心43tsr)3()2()1(XXXXtsr)3()2()1(ts

34、r333231232221131211 (1.28)(1.28)目录 上页 下页 返回 结束 1.3.3 1.3.3 条件分布和独立性条件分布和独立性定理定理1.31.3：设：设 ，00，将，将X X，剖分如剖分如下：下：),(pNX2022-8-7中国人民大学六西格玛质量管理研究中心44则则 有如下的条件均值和条件协差阵的递推公式：有如下的条件均值和条件协差阵的递推公式：)1(X)(),|(32)2(132231231)3()2()1(XXXXE(1.29)(1.29)3211322312311)3()2()1(),|(XXXD(1.30)(1.30)其中其中 kjkkikijkij13,2

35、,1,kji ，2,1 )|()3()(3iEiiXX证明参见证明参见33 目录 上页 下页 返回 结束 1.3.3 1.3.3 条件分布和独立性条件分布和独立性2022-8-7中国人民大学六西格玛质量管理研究中心45服装标准例子2022-8-7中国人民大学六西格玛质量管理研究中心46 定理定理1.2和定理和定理1.3在在20世纪世纪70年代中期为国家标年代中期为国家标准部门制定服装标准时有成功的应用，见参考文准部门制定服装标准时有成功的应用，见参考文献献3。在制定服装标准时需抽样进行人体测量，。在制定服装标准时需抽样进行人体测量，现从某年龄段女子测量取出部分结果如下：现从某年龄段女子测量取出

36、部分结果如下：154.9829.6683.396.51 30.5370.26 1.85 25.54 39.8661.329.36 3.54 2.23 7.0391.5210.34 19.53 20.70 5.21 27.36X1：身高，：身高，X2：胸围，：胸围，X3：腰围，：腰围，X4：上体：上体长，长，X5：臀围，已知它们遵从：臀围，已知它们遵从N5（，），），其中其中 2022-8-7中国人民大学六西格玛质量管理研究中心47(1)/(2)(3)12345125153455(,),(),(),(1.26)(1.27)154.9810.3483.3919.53(27.36)(91.52)70

37、.2620.7061.325.21154.980.38(91.52)83.390.71(XXXXXxx xEXxxXXXXX若取则由公式和得5591.52)70.260.76(91.52)61.320.19(91.52)XX2022-8-7中国人民大学六西格玛质量管理研究中心481253429.66 6.51 1.85 9.366.51 30.53 25.54 3.541.85 25.54 39.86 2.239.36 3.54 2.23 7.0310.3419.5320.705.2XXxDXX1(27.36)(10.34,19.53,20.70,5.21)125.76 -0.86 -5.97

38、 7.39-0.86 16.59 10.76 -0.18-5.97 10.76 24.19 -1.727.39 -0.18 -1.72 6.04 2022-8-7中国人民大学六西格玛质量管理研究中心49 再利用（再利用（1.30）式得）式得 14253125.76 -0.86 -5.97-0.86 16.59 10.76-5.97 10.76 24.197.39-0.18(6.04)(7.39,-0.18,-1.72)-1.7216.72 -0.64 -3.87-0.64 16.58 XXD XXX 10.71-3.87 10.71 23.712022-8-7中国人民大学六西格玛质量管理研究中

39、心50 这说明,若已知一个人的上体的长和臀围,则身高、胸围和腰围的条件方差比原来的方差大大缩小。此时我们可看到此时我们可看到 145124523453var(|,)16.7229.66var()var(|,)16.5830.53var()var(|,)23.7139.86var()XXXXXXXXXXXX2022-8-7中国人民大学六西格玛质量管理研究中心51 在定理在定理1.21.2中，我们给出了对中，我们给出了对X X、和和作形如作形如(1.25)(1.25)式剖分时条件协差阵式剖分时条件协差阵 的表达式及其与非的表达式及其与非条件协差阵的关系，令条件协差阵的关系，令 表示表示 的元素，的

40、元素，则可以定义偏相关系数的概念如下：则可以定义偏相关系数的概念如下：211pqij,1 2112/1,1,1,1,1)(pqjjpqiipqijpqijr定义定义1.61.6：当：当 给定时，给定时，与与 的偏相关系数的偏相关系数为：为：)2(XiXjX 目录 上页 下页 返回 结束 1.3.3 1.3.3 条件分布和独立性条件分布和独立性2022-8-7中国人民大学六西格玛质量管理研究中心52 偏相关系数偏相关系数 以x1表示某种商品的销售量，x2表示消费者人均可支配收入，x3表示商品价格。从经验上看，销售量x1与消费者人均可支配收入x2之间应该有正相关，简单相关系数r12应该是正的。但是

41、如果你计算出的r12是个负数也不要感到惊讶，这是因为还有其它没有被固定的变量在发挥影响，例如商品价格x3在这期间大幅提高了。反映固定x3后x1与x2相关程度的偏相关系数r12；3会是个正数。2022-8-7中国人民大学六西格玛质量管理研究中心53 1.3.3 1.3.3 条件分布和独立性条件分布和独立性 在上面制定服装标准的例子中，给定在上面制定服装标准的例子中，给定X4和和X5的偏相关系数为：的偏相关系数为：12 450.6430.038616.717 16.582r 13 453.8730.19516.717 23.707r 23 4510.7070.54016.582 23.707r20

42、22-8-7中国人民大学六西格玛质量管理研究中心54KKKKkkXXX ,1111)()1()()1(目录 上页 下页 返回 结束 1.3.3 1.3.3 条件分布和独立性条件分布和独立性 定理定理1.41.4：设：设 将将X X、按同样方按同样方式剖分为式剖分为),(pNX 其中，其中，,1,:,1:,1:)()(kjSSSSXjjjjjjjjjiXXijk对一切相互独立当且仅当则,0,)()1(证明参见文献证明参见文献32022-8-7中国人民大学六西格玛质量管理研究中心551 1.4 .4 均值向量和协方差阵的估计均值向量和协方差阵的估计 上节已经给出了多元正态分布的定上节已经给出了多元

43、正态分布的定义和有关的性质义和有关的性质,在实际问题中在实际问题中,通常可通常可以假定被研究的对象是多元正态分布以假定被研究的对象是多元正态分布,但分布中的参数但分布中的参数和和是未知的是未知的,一般一般的做法是通过样本来估计。的做法是通过样本来估计。目录 上页 下页 返回 结束 2022-8-7中国人民大学六西格玛质量管理研究中心561 1.4 .4 均值向量和协方差阵的估计均值向量和协方差阵的估计均值向量的估计均值向量的估计 在一般情况下在一般情况下,如果样本资料阵为：如果样本资料阵为：/)(/)2(/)1(21212222111211),(nPnpnnppxxxxxxxxxXXXXXXX

44、 目录 上页 下页 返回 结束 2022-8-7中国人民大学六西格玛质量管理研究中心571 1.4 .4 均值向量和协方差阵的估计均值向量和协方差阵的估计(1.31)112112111)(1pipniiniiniiniXXXXXXnXnX 即均值向量即均值向量的估计量的估计量,就是样本均值向量就是样本均值向量.这可这可由极大似然法推导出来。推导过程参见文献由极大似然法推导出来。推导过程参见文献33。目录 上页 下页 返回 结束 设样品设样品 相互独立相互独立,同遵从于同遵从于P P元正态分元正态分布布 ,而且而且 ,0,0,则总体参数均值则总体参数均值的估计的估计量是量是)()2()1(,nX

45、XX),(pNpn 2022-8-7中国人民大学六西格玛质量管理研究中心581 1.4 .4 均值向量和协方差阵的估计均值向量和协方差阵的估计协方差阵的估计协方差阵的估计总体参数协差阵总体参数协差阵的极大似然估计是的极大似然估计是 目录 上页 下页 返回 结束)(1)()()(11XXXXnLniniipnipipninipipiinipipiniiXXXXXXXXXXXXXXn1211222221111211)()()()()(12022-8-7中国人民大学六西格玛质量管理研究中心591 1.4 .4 均值向量和协方差阵的估计均值向量和协方差阵的估计 目录 上页 下页 返回 结束 其中其中L

46、 L是离差阵，它是每一个样品（向量）与是离差阵，它是每一个样品（向量）与样本均值（向量）的离差积形成的样本均值（向量）的离差积形成的n n个个 阶对阶对称阵的和。同一元相似，称阵的和。同一元相似，不是不是的无偏估计，为的无偏估计，为了得到无偏估计我们常用样本协差阵了得到无偏估计我们常用样本协差阵 作为总体协差阵的估计。作为总体协差阵的估计。p11Lnpp2022-8-7中国人民大学六西格玛质量管理研究中心601 1.5.5常用分布及抽样分布常用分布及抽样分布 多元统计研究的是多指标问题多元统计研究的是多指标问题,为了了解总体的为了了解总体的特征特征,通过对总体抽样得到代表总体的样本通过对总体抽

47、样得到代表总体的样本,但因为信但因为信息是分散在每个样本上的息是分散在每个样本上的,就需要对样本进行加工就需要对样本进行加工,把把样本的信息浓缩到不包含未知量的样本函数中样本的信息浓缩到不包含未知量的样本函数中,这个这个函数称为统计量函数称为统计量,如前面介绍的样本均值向量如前面介绍的样本均值向量 、样、样本离差阵本离差阵 等都是统计量等都是统计量.统计量的分布称为抽样分统计量的分布称为抽样分布布.XL 在数理统计中常用的抽样分布有在数理统计中常用的抽样分布有 分布、分布、分布分布和和 分布分布.在多元统计中在多元统计中,与之对应的分布分别为与之对应的分布分别为WishartWishart分布

48、、分布、分布和分布和WilksWilks分布分布.2tF2T 目录 上页 下页 返回 结束 2022-8-7中国人民大学六西格玛质量管理研究中心611 1.5.5常用分布及抽样分布常用分布及抽样分布1.5.2 分布与分布与 分布分布t2T1.5.1 分布与分布与Wishart分布分布21.5.3 中心分布与中心分布与Wilks分布分布F 目录 上页 下页 返回 结束 2022-8-7中国人民大学六西格玛质量管理研究中心622()n分布有两个重要的性质分布有两个重要的性质:1.5.1 分布与分布与Wishart分布分布2 在数理统计中在数理统计中,若若 (),(),且相互独立且相互独立,则则 所

49、服从的分布为自由度为所服从的分布为自由度为 的的 分布分布(chi squared(chi squared distribution),distribution),记为记为 .1,2,in21niiXn22()n(0,1)iXN 目录 上页 下页 返回 结束 1 1、若、若 ,且相互独立且相互独立,则则1,2,ik2211()kkiiiin称为相互独立称为相互独立 的的具有可加性222()iin2022-8-7中国人民大学六西格玛质量管理研究中心63 2.2.设设 (),(),且相互独立且相互独立,为为 个个 阶对称阵阶对称阵,且且 (阶单位阵阶单位阵),),记记 ,则则 为相互独立的为相互独

50、立的 分布的充要条件分布的充要条件为为 .此时此时 ,.,.(0,1)iXN1,2,in(1,2,)jmmn1mjnjAI12,nXXXX,jjQX A X12,mQ QQ21rank()mjjAnrank()jjnAjA2jjQn 这个性质称为Cochran定理,在方差分析和回归分析中起着重要作用.目录 上页 下页 返回 结束 1.5.1 分布与分布与Wishart分布分布22022-8-7中国人民大学六西格玛质量管理研究中心64()()1nWXXXX (1.32)(1.32)定义定义1.71.7 设设 相互独立相互独立,且且 ,记记 ,则随机矩阵：则随机矩阵：()12(,)pXXXX(1,