多元统计分析-基于R-语言-课件-主成分分析.pptx

1、多元统计分析中国人民大学：何晓群苏州大学：马学俊基于R语言多元统计分析中国人民大学：何晓群基于R 语言主成分分析主成分分析学习目标：学习目标：1.理解主成分分析的基本理论与方法;2.了解主成分的性质;3.理解主成分的求解方法;4.掌握用R软件求解主成分的方法;5.正确理解软件输出结果并对结果进行分析05主成分分析学习目标：0 55.1 主成分分析的基本原理主成分分析 主成分分析是利用降维的思想,在损失很少信息的前提下,把多个指标转化为几个综合指标的多元统计方法。通常把转化生成的综合指标称为主成分,其中每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越

2、的性能。这样在研究复杂问题时就可以只考虑少数几个主成分而不至于损失太多信息。5.1 主成分分析的基本原理主成分分析主成分分析是利用降维的5.1 主成分分析的基本原理5.1.1 主成分分析的基本思想u 思想：思想：通过对原始变量相关矩阵或协方差矩阵内部结构关系的研究,利用原始变量的线性组合形成几个综合指标(主成分),可以在保留原始变量主要信息的前提下起到降维与简化问题的作用u 主成分与原始变量之间有如下基本关系：主成分与原始变量之间有如下基本关系：每一个主成分都是各原始变量的线性组合；主成分的数目大大少于原始变量的数目；主成分保留了原始变量的绝大多数信息；各主成分之间互不相关5.1 主成分分析的

3、基本原理5.1.1 主成分分析的基本思想5.1 主成分分析的基本原理5.1.2 主成分分析的基本理论5.1 主成分分析的基本原理5.1.2 主成分分析的基本理论5.1 主成分分析的基本原理5.1.2 主成分分析的基本理论5.1 主成分分析的基本原理5.1.2 主成分分析的基本理论5.1 主成分分析的基本原理念5.1.3 主成分分析的几何意义5.1 主成分分析的基本原理念5.1.3 主成分分析的几何意5.2 总体主成分及其性质本节导论5.2 总体主成分及其性质本节导论 5.2.1 从协方差矩阵出发求解主成分结论5.2 总体主成分及其性质引论引论5.2.1 从协方差矩阵出发求解主成分结论5.2 总

4、体主成分5.2.1 从协方差矩阵出发求解主成分结论5.2 总体主成分及其性质结论结论5.2.1 从协方差矩阵出发求解主成分结论5.2 总体主成分5.2.2 主成分的性质5.2 总体主成分及其性质定义定义5.15.15.2.2 主成分的性质5.2 总体主成分及其性质定义5.15.2.2 主成分的性质5.2 总体主成分及其性质定义定义5.25.2u 因子负荷量是主成分解释中非常重要的解释依据因子负荷量是主成分解释中非常重要的解释依据,因子负荷量的绝对值大小因子负荷量的绝对值大小刻画了该主成分的主要意义及其成因；因子负荷量与系数向量成正比。刻画了该主成分的主要意义及其成因；因子负荷量与系数向量成正比

5、。5.2.2 主成分的性质5.2 总体主成分及其性质定义5.25.2.2 主成分的性质5.2 总体主成分及其性质定义定义5.35.35.2.2 主成分的性质5.2 总体主成分及其性质定义5.35.2.2 主成分的性质性质15.2 总体主成分及其性质性质2性质3性质4性质55.2.2 主成分的性质性质1 5.2 总体主成分及其性质性质5.2.3 从相关矩阵出发求解主成分5.2 总体主成分及其性质5.2.3 从相关矩阵出发求解主成分5.2 总体主成分及其性5.2.4 由相关阵求主成分时主成分性质的简单形式性质5.2 总体主成分及其性质5.2.4 由相关阵求主成分时主成分性质的简单形式性质5.25.

6、3 样本主成分的导出符符号号定定义义5.3 样本主成分的导出符号定义 5.3 样本主成分的导出由由相相关关阵阵R R求求解解主主成成分分5.3 样本主成分的导出 5.3 样本主成分的导出由由相相关关阵阵R R求求解解主主成成分分5.3 样本主成分的导出 5.4 有关问题的讨论5.4.1 关于由协方差矩阵或相关矩阵出发求解主成分1.1.相同之处相同之处2.2.如何选择如何选择u 求主成分的过程是一致的，实际就是对矩阵结构进行分析的过程求主成分的过程是一致的，实际就是对矩阵结构进行分析的过程,也就是求解特征根的过程。也就是求解特征根的过程。u 对于度量单位不同的指标或取值范围彼此差异非常大的指标对

7、于度量单位不同的指标或取值范围彼此差异非常大的指标,不直接不直接由其协方差矩阵出发进行主成分分析而应该考虑将数据标准化由其协方差矩阵出发进行主成分分析而应该考虑将数据标准化u 对同度量或取值范围在同量级的数据对同度量或取值范围在同量级的数据,直接从协方差矩阵求解主成分直接从协方差矩阵求解主成分为宜。为宜。u 对于从什么出发求解主成分对于从什么出发求解主成分,现在还没有一个定论，要考虑实际情况现在还没有一个定论，要考虑实际情况5.4 有关问题的讨论5.4.1 关于由协方差矩阵或相关矩阵5.4 有关问题的讨论5.4.2 主成分分析不要求数据来自正态总体u 与很多多元统计方法不同与很多多元统计方法不

8、同,主成分分析不要求数据来自正态总体主成分分析不要求数据来自正态总体u 主成分分析的这一特性大大扩展了其应用范围主成分分析的这一特性大大扩展了其应用范围,对多维数据对多维数据,只要是涉只要是涉及降维的处理我们都可以尝试用主成分分析而不用花太多精力考虑其及降维的处理我们都可以尝试用主成分分析而不用花太多精力考虑其分布情况分布情况。5.4 有关问题的讨论5.4.2 主成分分析不要求数据来自正5.4 有关问题的讨论5.4.3 主成分分析与重叠信息5.4 有关问题的讨论5.4.3 主成分分析与重叠信息 5.5 主成分分析步骤及框图5.5.1 主成分分析步骤step1:step1:根据研究问题选取初始分

9、析变量根据研究问题选取初始分析变量;step2:step2:根据初始变量特性判断由协方差阵求主成分还是由相关阵求主成分根据初始变量特性判断由协方差阵求主成分还是由相关阵求主成分;step3:step3:求协方差阵或相关阵的特征根与相应标准特征向量求协方差阵或相关阵的特征根与相应标准特征向量;step4:step4:判断是否存在明显的多重共线性判断是否存在明显的多重共线性,若存在若存在,则回到第步则回到第步;step5:step5:得到主成分的表达式并确定主成分个数得到主成分的表达式并确定主成分个数,选取主成分选取主成分;step6:step6:结合主成分对研究问题进行分析并深入研究。结合主成分

10、对研究问题进行分析并深入研究。5.5 主成分分析步骤及框图5.5.1 主成分分析步骤s t e5.6 主成分分析的上机实现 【例例5-15-1】为掌握我国各地区主要行业的城镇私营企业就业人员的平均工资水平为掌握我国各地区主要行业的城镇私营企业就业人员的平均工资水平,选取选取20162016年我国年我国3030个省、直辖市、自治区个省、直辖市、自治区(西藏地区数据缺失西藏地区数据缺失)9)9个行业就业人员的平均工资数据个行业就业人员的平均工资数据(数据数据来源于来源于20172017年年中国统计年鉴中国统计年鉴)。我们用主成分分析方法处理该数据。我们用主成分分析方法处理该数据,以期用较少的变量描

11、以期用较少的变量描述这些行业各地区就业人员的工资水平。本例中各变量的量纲差别不大述这些行业各地区就业人员的工资水平。本例中各变量的量纲差别不大,为了保留各变量自身为了保留各变量自身的变异的变异,选择从协方差阵出发求解主成分。主要分为以下三步：选择从协方差阵出发求解主成分。主要分为以下三步：Step1Step1：读入数据：读入数据,计算特征值计算特征值Step2Step2：计算特征向量和因子负荷量：计算特征向量和因子负荷量Step3Step3：第：第3 3步步:进一步分析主成分的选择进一步分析主成分的选择5.6 主成分分析的上机实现 【例5-1】为掌握我5.6 主成分分析的上机实现u Step1

12、Step1：读入数据：读入数据,计算特征值，输入如下：计算特征值，输入如下：1.rm(list=ls()2.ex5.1 dat51 rownames(dat51)#协方差矩阵6.sigm my51#特征值9.lam p#方差贡献率12.cumlam VE colnames(VE)print(VE)5.6 主成分分析的上机实现S t e p 1：读入数据,计算特征值5.6 主成分分析的上机实现u Step1Step1：读入数据：读入数据,计算特征值，我们使用计算特征值，我们使用eigeneigen函数对协方差矩阵进行特征值分解。第函数对协方差矩阵进行特征值分解。第一主成分的方差贡献率为一主成分的

13、方差贡献率为82.302%,82.302%,是保留的特征根占所有特征根的和的比值是保留的特征根占所有特征根的和的比值,由此可见由此可见第一主成分解释原始变量总差异的效果比较好。第二个主成分的方差贡献率为第一主成分解释原始变量总差异的效果比较好。第二个主成分的方差贡献率为8.857%,8.857%,这个相对第一主成分贡献率低很多。碎石图显示选择这个相对第一主成分贡献率低很多。碎石图显示选择2 2个主成分比较好。个主成分比较好。16.1 特征根 贡献率 累计贡献率17.2 768365315 0.823019789 0.823019818.2 82685252 0.088566724 0.9115

14、86519.3 29249216 0.031329738 0.942916320.4 17215863 0.018440442 0.961356721.5 14296274 0.015313180 0.976669922.6 7511072 0.008045341 0.984715223.7 6169207 0.006608028 0.991323224.8 5030735 0.005388576 0.996711825.9 3069824 0.003288183 1.000000026.#碎石图27.plot(lam,type=o,xlab=主成分序号,ylab=特征值)5.6 主成分分析的

15、上机实现S t e p 1：读入数据,计算特征值5.6 主成分分析的上机实现u Step2Step2：计算特征向量和因子负荷量。：计算特征向量和因子负荷量。1.#特征向量2.gam colnames(gam)print(gam,1:2)5.vec1 vec26.1,-0.1191864-0.319971097.2,-0.2320962-0.356934528.3,-0.1694318-0.353153119.4,-0.1452976-0.3842006310.5,-0.1302961-0.2754620511.6,-0.7438316 0.5106414512.7,-0.4091319 0.0

16、737365413.8,-0.2533333-0.1232186014.9,-0.2833341-0.375013425.6 主成分分析的上机实现S t e p 2：计算特征向量和因子负5.6 主成分分析的上机实现u Step2Step2：计算特征向量和因子负荷量。：计算特征向量和因子负荷量。15.#因子负荷量16.lam_ma sigmai#特征向量*特征根的算数平方根19.gamsla load colnames(load)print(load,1:2)23.load1 load224.1,-0.6478731-0.5705638225.2,-0.8469924-0.4272973726.

17、3,-0.6590387-0.4506187127.4,-0.6636656-0.5756773228.5,-0.7368664-0.5110333629.6,-0.9717312 0.2188354830.7,-0.9320512 0.0551047831.8,-0.9099041-0.1451810032.9,-0.8757826-0.380254525.6 主成分分析的上机实现S t e p 2：计算特征向量和因子负5.6 主成分分析的上机实现u Step3Step3：进一步分析主成分的选择。第一主成分和第二主成分对原始各变量方差贡献：进一步分析主成分的选择。第一主成分和第二主成分对原始

18、各变量方差贡献率的和率的和,即即0.412+0.145+=7.483,0.412+0.145+=7.483,以及该主成分占所有主成分对原始变量方差贡以及该主成分占所有主成分对原始变量方差贡献率总和献率总和(等于等于9)9)的比值为的比值为0.8320.832。这说明前面选择两个主成分比较合适。这说明前面选择两个主成分比较合适。1.#定义5.3 第一和二主成分对X1-X9的方差贡献率2.VV print(VV,1:2)4.load1 load25.1,0.4197396 0.3255430736.2,0.7173962 0.1825830467.3,0.4343320 0.2030572258.

19、4,0.4404520 0.3314043799.5,0.5429721 0.26115509410.6,0.9442615 0.04788896511.7,0.8687194 0.00303653612.8,0.8279255 0.02107752213.9,0.7669951 0.14459349814.sum(VV,1:2)/915.1 0.83145925.6 主成分分析的上机实现S t e p 3：进一步分析主成分的选5.6 主成分分析的上机实现 【例例5-25-2】在工业企业经济效益的评价中在工业企业经济效益的评价中,设计的指标往往较多。为了简化系统结构设计的指标往往较多。为了简化

20、系统结构,抓住抓住经济效益评价中的主要方面经济效益评价中的主要方面,我们可由原始数据出发求主成分。在对我国各地区规模以上工业我们可由原始数据出发求主成分。在对我国各地区规模以上工业企业的经济效益评价中企业的经济效益评价中,包含包含8 8项指标项指标,原始数据如表原始数据如表5-25-2所示所示(数据来源于数据来源于20172017年年中国工业统中国工业统计年鉴计年鉴),),其中其中,前前7 7项指标的单位是亿元项指标的单位是亿元,最后一项指标的单位是万人。由于原始数据量纲差最后一项指标的单位是万人。由于原始数据量纲差别较大别较大,需要对数据进行标准化。步骤和程序与前面差不多，分为以下三步：需要

21、对数据进行标准化。步骤和程序与前面差不多，分为以下三步：Step1Step1：读入数据：读入数据,并输出变量之间的相关性并输出变量之间的相关性Step2Step2：计算特征值并输出特征根及对应主成分的方差贡献率和累积贡献率：计算特征值并输出特征根及对应主成分的方差贡献率和累积贡献率Step3Step3：计算特征向量和因子负荷量：计算特征向量和因子负荷量5.6 主成分分析的上机实现 【例5-2】在工业企5.6 主成分分析的上机实现u Step1Step1：读入数据：读入数据,并输出变量之间的相关性，输出结果显示并输出变量之间的相关性，输出结果显示8 8个变量之间存在较强的相个变量之间存在较强的相

22、关关系关关系,适合进行主成分分析。适合进行主成分分析。1.rm(list=ls()2.ex5.2 dat52 rownames(dat52)dat52#协方差7.sigm print(sigm,digits=3)9.X1 X2 X3 X4 X5 X6 X7 X810.X1 1.000 0.958 0.936 0.962 1.000 0.990 0.345 0.95211.X2 0.958 1.000 0.991 0.988 0.959 0.954 0.492 0.93712.X3 0.936 0.991 1.000 0.959 0.937 0.923 0.455 0.92813.X4 0.96

23、2 0.988 0.959 1.000 0.964 0.969 0.520 0.92714.X5 1.000 0.959 0.937 0.964 1.000 0.990 0.354 0.94915.X6 0.990 0.954 0.923 0.969 0.990 1.000 0.405 0.94516.X7 0.345 0.492 0.455 0.520 0.354 0.405 1.000 0.38517.X8 0.952 0.937 0.928 0.927 0.949 0.945 0.385 1.0005.6 主成分分析的上机实现S t e p 1：读入数据,并输出变量5.6 主成分分析的上

24、机实现u Step2Step2：计算特征值并输出特征根及对应主成分的方差贡献率和累积贡献率。我：计算特征值并输出特征根及对应主成分的方差贡献率和累积贡献率。我们可提取们可提取1 1个主成分个主成分,其方差贡献率为其方差贡献率为86.981%,86.981%,说明该第一主成分基本上提取了说明该第一主成分基本上提取了原始变量的大部分信息。这样由分析原来的原始变量的大部分信息。这样由分析原来的8 8个变量转化为仅需分析个变量转化为仅需分析1 1个综合变个综合变量量,极大地起到了降维的作用。极大地起到了降维的作用。1.my52#特征值3.lam p#方差解释6.cumlam VE colnames(V

25、E)print(VE,digits=5)10.特征值 比例 累计比例11.1 6.9584e+00 8.6981e-01 0.8698112.2 8.2794e-01 1.0349e-01 0.9733013.3 1.0895e-01 1.3619e-02 0.9869214.4 7.8891e-02 9.8613e-03 0.9967815.5 1.7949e-02 2.2436e-03 0.9990216.6 7.5446e-03 9.4308e-04 0.9999617.7 2.7163e-04 3.3954e-05 1.0000018.8 9.3902e-06 1.1738e-06 1

26、.000005.6 主成分分析的上机实现S t e p 2：计算特征值并输出特征5.6 主成分分析的上机实现u Step3Step3：计算特征向量和因子负荷量。：计算特征向量和因子负荷量。1.#特征向量2.gam colnames(gam)print(gam,1:2,digits=4)5.vec1 vec26.1,-0.3721 0.1732397.2,-0.3755-0.0220338.3,-0.3684 0.0081339.4,-0.3752-0.05351810.5,-0.3724 0.16158611.6,-0.3722 0.09977412.7,-0.1844-0.95828513.

27、8,-0.3645 0.1104455.6 主成分分析的上机实现S t e p 3：计算特征向量和因子负5.6 主成分分析的上机实现u Step3Step3：计算特征向量和因子负荷量。：计算特征向量和因子负荷量。14.#因子负荷量15.lam_ma sigmai#特征向量*特征根的算数平方根18.gamsla load colnames(load)print(load,1:2,digits=4)22.load1 load223.1,-0.9814 0.1576324.2,-0.9904-0.0200525.3,-0.9717 0.0074026.4,-0.9898-0.0487027.5,-0

28、.9824 0.1470328.6,-0.9819 0.0907929.7,-0.4863-0.8719530.8,-0.9616 0.100495.6 主成分分析的上机实现S t e p 3：计算特征向量和因子负5.6 主成分分析的上机实现 【例例5-35-3】试利用主成分综合评价全国各地区水泥制造业规模以上企业的经济效益试利用主成分综合评价全国各地区水泥制造业规模以上企业的经济效益,原始数原始数据来源于据来源于20142014年年中国水泥年鉴中国水泥年鉴，与上面例子一样，与上面例子一样,我们将数据进行标准化处理。我们将数据进行标准化处理。Step1Step1：读入数据：读入数据,并输出变量

29、之间的相关性并输出变量之间的相关性Step2Step2：计算特征值：计算特征值Step3Step3：计算特征向量和因子负荷量：计算特征向量和因子负荷量Step4Step4：进一步分析主成分。：进一步分析主成分。5.6 主成分分析的上机实现 【例5-3】试利用主5.6 主成分分析的上机实现1.rm(list=ls()2.ex5.3 dat53 rownames(dat53)dat53#协方差7.sigm print(sigm,digits=3)9.X1 X2 X3 X4 X5 X6 X710.X1 1.000 0.7629 0.8518 0.7950 0.902 0.821 0.157011.X

30、2 0.763 1.0000 0.9234 0.8967 0.881 0.715 0.024812.X3 0.852 0.9234 1.0000 0.9809 0.875 0.694 0.025213.X4 0.795 0.8967 0.9809 1.0000 0.810 0.582-0.050614.X5 0.902 0.8809 0.8750 0.8102 1.000 0.903 0.188415.X6 0.821 0.7155 0.6945 0.5818 0.903 1.000 0.428216.X7 0.157 0.0248 0.0252-0.0506 0.188 0.428 1.00

31、005.6 主成分分析的上机实现 1.r m(l i s t=l s(5.6 主成分分析的上机实现u Step2Step2：计算特征值。结果可以看到：计算特征值。结果可以看到,本例保留了前两个主成分本例保留了前两个主成分,它们解释了全部变量总方它们解释了全部变量总方差的差的91.036%,91.036%,说明这说明这2 2个主成分代表原来的个主成分代表原来的7 7个指标评价企业的经济效益已经足够。个指标评价企业的经济效益已经足够。1.my53#特征值3.lam p#方差解释6.cumlam VE colnames(VE)print(VE,digits=5)10.特征值 比例 累计比例11.1

32、5.1633892 0.7376270 0.7376312.2 1.2091445 0.1727349 0.9103613.3 0.3418942 0.0488420 0.9592014.4 0.1947949 0.0278278 0.9870315.5 0.0490616 0.0070088 0.9940416.6 0.0341498 0.0048785 0.9989217.7 0.0075659 0.0010808 1.000005.6 主成分分析的上机实现S t e p 2：计算特征值。结果可以5.6 主成分分析的上机实现u Step3Step3：计算特征向量和因子负荷量。：计算特征向量

33、和因子负荷量。1.#特征向量2.gam colnames(gam)print(gam,1:2,digits=4)5.vec1 vec26.1,-0.40708 0.043647.2,-0.40956-0.155008.3,-0.42124-0.178319.4,-0.39992-0.2694610.5,-0.42630 0.0704511.6,-0.37688 0.3595112.7,-0.07354 0.857595.6 主成分分析的上机实现S t e p 3：计算特征向量和因子负5.6 主成分分析的上机实现u Step3Step3：计算特征向量和因子负荷量。：计算特征向量和因子负荷量。13

34、.#因子负荷量14.lam_ma sigmai#特征向量*特征根的算数平方根17.gamsla load colnames(load)print(load,1:2,digits=4)21.load1 load222.1,-0.9250 0.0479923.2,-0.9306-0.1704424.3,-0.9572-0.1960725.4,-0.9087-0.2963026.5,-0.9687 0.0774727.6,-0.8564 0.3953228.7,-0.1671 0.943015.6 主成分分析的上机实现S t e p 3：计算特征向量和因子负5.6 主成分分析的上机实现u Step4

35、Step4：进一步分析主成分。当主成分有两个时：进一步分析主成分。当主成分有两个时,将各样品的主成分得分在平面直角坐标将各样品的主成分得分在平面直角坐标系上描出来系上描出来,就可得到各样品的分布情况就可得到各样品的分布情况,然后可以对样品进行分类。将标准化后的原始然后可以对样品进行分类。将标准化后的原始数据代入两个主成分的线性表达式数据代入两个主成分的线性表达式,计算各样品的两个主成分得分。现将各样品的主成分计算各样品的两个主成分得分。现将各样品的主成分得分在平面直角坐标系上描出来得分在平面直角坐标系上描出来(使用使用R R软件画散点图并添加辅助线软件画散点图并添加辅助线)1.y1-dat53

36、%*%as.matrix(gam,1,p,1)2.y2-dat53%*%as.matrix(gam,2,p,1)3.#data.frame(y1,y2)#表5-24.plot(y1,y2,pch=+,xlab=第一主成分,ylab=第二主成分)5.abline(h=0,lty=2)6.abline(v=0,lty=2)7.text(y1,y2,ex5.3,1,adj=-0.05)5.6 主成分分析的上机实现S t e p 4：进一步分析主成分。当5.6 主成分分析的上机实现u Step4Step4：由图可知：由图可知,分布在第一象限的地区是广西、江西、安徽、湖南、浙江、广东、湖分布在第一象限的

37、地区是广西、江西、安徽、湖南、浙江、广东、湖北、江苏和山东北、江苏和山东,说明这些省区的规模以上的水泥企业的经济效益较好说明这些省区的规模以上的水泥企业的经济效益较好,企业整体规模大企业整体规模大且收入高且收入高,盈利能力强盈利能力强;分布在第三象限的地区是黑龙江、陕西、福建、云南、重庆、山分布在第三象限的地区是黑龙江、陕西、福建、云南、重庆、山西、新疆、上海、天津、北京西、新疆、上海、天津、北京,说明这些地区的规模以上的水泥企业的经济效益较差说明这些地区的规模以上的水泥企业的经济效益较差,企企业整体规模小且盈利能力弱业整体规模小且盈利能力弱,尤其是北京地区的水泥企业的经济效益最差尤其是北京地区的水泥企业的经济效益最差,主要是由于北主要是由于北京地区较大规模的水泥企业比较少。京地区较大规模的水泥企业比较少。5.6 主成分分析的上机实现S t e p 4：由图可知,分布在第一