主成分分析与因子分析(第20章)课件.ppt

1、 Principal Components Analysis&Factor Analysis第二军医大学卫生统计学教研室第二军医大学卫生统计学教研室 xx第第20章章1感谢你的观看2019年8月72感谢你的观看2019年8月7Principal Components Analysis3感谢你的观看2019年8月7数据的降维、数据的解释数据的降维、数据的解释 将原来众多具有一定相关性的指标，组将原来众多具有一定相关性的指标，组 合成一组新的合成一组新的相互无关的综合指标。相互无关的综合指标。从中选取几个较少的综合指标尽可能多从中选取几个较少的综合指标尽可能多 的反映原来众多指标的信息。的反映原来

2、众多指标的信息。这种既减少了指标的数目又抓住了主要矛这种既减少了指标的数目又抓住了主要矛 盾的做法有利于问题的分析和处理。盾的做法有利于问题的分析和处理。4感谢你的观看2019年8月75感谢你的观看2019年8月7 如何利用这些指标对每一儿童的生长发育如何利用这些指标对每一儿童的生长发育 作出正确评价？作出正确评价？仅用单一指标：仅用单一指标：结论片面；结论片面；没有充分利用原有数据信息。没有充分利用原有数据信息。利用所有指标：利用所有指标：各指标评价的结论可能不一致，使综合各指标评价的结论可能不一致，使综合 评价困难；评价困难；工作量大。工作量大。6感谢你的观看2019年8月7 找出几个综合

3、指标找出几个综合指标(长度、围度、特体长度、围度、特体)，这，这些综合指标是原始指标的线性组合，既保留些综合指标是原始指标的线性组合，既保留了原始指标的信息，且互不相关。了原始指标的信息，且互不相关。各综合指标提供的各综合指标提供的“信息信息”量大小用其方差量大小用其方差来衡量。来衡量。衡量一个指标的好坏衡量一个指标的好坏除了正确性与精确性外，除了正确性与精确性外，还必须能充分反映个体间的变异，一还必须能充分反映个体间的变异，一 项指标在个体间的变异越大，提供的信息项指标在个体间的变异越大，提供的信息 量越多。量越多。7感谢你的观看2019年8月7mmm22m11mmmm22221212mm1

4、2121111XaXaXaZ XaXaXaZXaXaXaZ 8感谢你的观看2019年8月7Z=A XZ=A X9感谢你的观看2019年8月7第一主成分第一主成分mm12121111XaXaXaZ 1aaa2m1212211 在所有在所有Zi中最大中最大)Z(Var110感谢你的观看2019年8月7第二主成分第二主成分理论上主成分个数最多为理论上主成分个数最多为m个个(指标个数指标个数)实际工作中确定的主成分个数总是小于实际工作中确定的主成分个数总是小于m个个)Z(Var0aaaaaaZZ1aaaXaXaXaZ2m1m212221121212m2222221mm22221212 与与在所有在所有

5、Zi中为第中为第2大。大。无关，互相垂直：无关，互相垂直：11感谢你的观看2019年8月7X1X2112-2-2-1-120相关相关变异变异12感谢你的观看2019年8月7X1X2Z1Z2112-2-2-2-211-1-1-1-1222013感谢你的观看2019年8月7Z1Z2-2-211-1-1220相关相关变异变异14感谢你的观看2019年8月715感谢你的观看2019年8月7（一）主成分的求法（一）主成分的求法 1.1.对各原始指标值进行标准化对各原始指标值进行标准化m,2 1,j SXXXjjijij 为了方便，仍用为了方便，仍用Xij表示表示Xij。16感谢你的观看2019年8月7标

6、准化后的数据矩阵标准化后的数据矩阵 nm n21n2m 22211m 1211 X XX X XX X XXX X=17感谢你的观看2019年8月72.求出求出X1,X2,Xm 的相关矩阵的相关矩阵R R mm m21m2m 22211m 1211r r r r r rr r rR R=Cov(X X)=18感谢你的观看2019年8月722)YY()YY()XX()XX(r YYXXXY22lll)YY()XX()YY)(XX(r Pearson 相关系数相关系数 YXSYYSXX1n1r标准化后的协方差标准化后的协方差1n)YY)(XX(1n)XX)(XX(协方差协方差19感谢你的观看201

7、9年8月73.求出矩阵求出矩阵R R的全部特征值的全部特征值(eigenvalue)i,第第i个主成分的组合系数个主成分的组合系数ai1,ai2,aim满满 足方程组足方程组:(r11 i)ai1+r12 ai2+r1m aim=0 r21 ai1+(r22 i)ai2+r2m aim=0 rm1 ai1+rm2 ai2+(rmm i)aim=0 20感谢你的观看2019年8月7 (r11 i)ai1+r12 ai2+r1m aim=0 r21 ai1+(r22 i)ai2+r2m aim=0 rm1 ai1+rm2 ai2+(rmm i)aim=0 i为为矩阵矩阵R R的第的第i个特征值，个

8、特征值，共有共有m个非个非负特征值，由大到小的顺序排列为：负特征值，由大到小的顺序排列为：1 2 m0 i=Var(Zi)21感谢你的观看2019年8月74.由以上方程组，求出相应于特征值由以上方程组，求出相应于特征值 i 的的 特征向量特征向量(eigenvector)(ai1,ai2,aim)mim22i11iiXaXaXaZ 22感谢你的观看2019年8月7（二）主成分的性质（二）主成分的性质 1.各主成分互不相关各主成分互不相关 j)(i 0)Z,Z(Cov)Z,Z(Cov)Z,Z(CovrjjiijiZ,Zji 23感谢你的观看2019年8月72.主成分的贡献率与累积贡献率主成分的贡

9、献率与累积贡献率 (原始指标值标准化原始指标值标准化)m)Z(Var)X(Varm1im1iiim1ii (指标个数指标个数)m)(k m m),2 1,(i mk1iiim1iii 贡献率贡献率累积贡献率累积贡献率24感谢你的观看2019年8月73.主主成分个数的选取成分个数的选取（1）前前k个主成分的累积贡献率个主成分的累积贡献率70%。（2）主成分主成分Zi的的特征值特征值 i 1。ijiijaq 4.因子载荷因子载荷（第（第i主成分主成分Zi与第与第j原始指标原始指标Xi间相关系数间相关系数）25感谢你的观看2019年8月75.样品的主成分得分样品的主成分得分m,2 1,i XaXaX

10、aZmim22i11ii m,2 1,j SXXXjjijij 26感谢你的观看2019年8月727感谢你的观看2019年8月728感谢你的观看2019年8月729感谢你的观看2019年8月730感谢你的观看2019年8月7 1.主成分个数的选取主成分个数的选取 3很接近于很接近于1 1；3 与与 2的贡献率相差不大，为的贡献率相差不大，为25%左右，左右，若舍去若舍去 3不合理。不合理。取前三个主成分。取前三个主成分。31感谢你的观看2019年8月7432134321243211X930532.0X270314.0X058463.0X240049.0ZX304983.0X904159.0X2

11、83647.0X095010.0ZX162777.0X087939.0X689798.0X699964.0Z 2.列出主成分表达式列出主成分表达式Z1为急性炎症成分为急性炎症成分（X1转氨酶、转氨酶、X2肝大指数）肝大指数）Z2为慢性炎症成分为慢性炎症成分（X3硫酸锌浊度硫酸锌浊度 ）Z3为癌变成分为癌变成分（X4甲胎球蛋白甲胎球蛋白 ）32感谢你的观看2019年8月73.求出因子载荷阵求出因子载荷阵ijiijaq 33感谢你的观看2019年8月74.主成分得分主成分得分34感谢你的观看2019年8月7p标准化指标主成分还原为标准化指标主成分还原为原始指标主成分原始指标主成分719569.0

12、X042531.0X036432.0X055428.0X002701.0Z844992.1 X01394.0X121858.0X268923.0X001069.0Z049134.3 X00744.0X011852.0X653991.0X007875.0Z432134321243211 8789.21S 4197.7S 0548.0S 8879.88S5.35X 0.15X 325.2X 0.138X43214321 35感谢你的观看2019年8月7p 将该肝病患者的四项肝功能指标代入将该肝病患者的四项肝功能指标代入 原始指标主成分原始指标主成分表达式：表达式：Z1=2.50865 Z2=1.0

13、6626 Z3=1.22943 该肝病患者可能为急性炎症该肝病患者可能为急性炎症。36感谢你的观看2019年8月7 1.1.对原始指标进行综合对原始指标进行综合 以互不相关的较少个综合指标反应众多原以互不相关的较少个综合指标反应众多原 始指标提供的信息。始指标提供的信息。主成分回归主成分回归(解决多元共线问题解决多元共线问题)。息息的的各各主主成成分分得得分分反反映映各各相相应应评评价价指指标标信信各各主主成成分分方方差差权权重重：被被评评价价对对象象综综合合得得分分:Z)(:Z)ZZZ(Ziikk2211 2.进行综合评价进行综合评价 37感谢你的观看2019年8月73.进行进行探索性分析探

14、索性分析 利用因子载荷阵，找出影响各综合指标的利用因子载荷阵，找出影响各综合指标的 主要原始指标。主要原始指标。4.对样品进行分类对样品进行分类 利用主成分得分对样品进行分类：利用主成分得分对样品进行分类：Z1为急性炎症成分为急性炎症成分 Z2为慢性炎症成分为慢性炎症成分 Z3为癌变成分为癌变成分38感谢你的观看2019年8月7Factor Analysis39感谢你的观看2019年8月7p从分析多个可观测的原始指标的相关关系从分析多个可观测的原始指标的相关关系入手，找到支配这种相关关系的有限个入手，找到支配这种相关关系的有限个不可不可观测的潜在变量。观测的潜在变量。是多元分析中处理降维的是多

15、元分析中处理降维的一种统计方法。一种统计方法。p如：脑部疾病患者的如：脑部疾病患者的意识清醒状态意识清醒状态可由语可由语言能力、辩识能力、记忆能力、理解能力与言能力、辩识能力、记忆能力、理解能力与思维逻辑能力等可观测的指标反映。思维逻辑能力等可观测的指标反映。40感谢你的观看2019年8月7 X1:收缩压收缩压X2:舒张压舒张压X3:心跳间隔心跳间隔X4:呼吸间隔呼吸间隔X5:舌下温度舌下温度F1:交感神经交感神经F2:副交感神经副交感神经 common factor41感谢你的观看2019年8月7 eFaFaXeFaFaXeFaFaXeFaFaXeFaFaX52521515424214143

16、23213132222121212121111 specific factor common factor42感谢你的观看2019年8月7Xi:观测指标观测指标(标准化数据标准化数据)Fi:公因子公因子 ei:特殊因子特殊因子aij:因子载荷因子载荷(计算关键项计算关键项)43感谢你的观看2019年8月7X =X =A AF+eF+e44感谢你的观看2019年8月7 0r 0r .2S 0e 1S 0F 1S 0X .1ijjiijie,FF,F2i2ei2Fj2Xi 45感谢你的观看2019年8月7 IR IR .32m2221eqqFFmmXX 46感谢你的观看2019年8月7 矩阵矩阵A

17、 A的统计意义的统计意义1.1.公共度公共度(共性方差共性方差 )2ihm,2,1iha1)X(VareFaX2i2i2iq1k2ikiiq1kkiki 47感谢你的观看2019年8月7因子的共性方差因子的共性方差48感谢你的观看2019年8月72.因子贡献与因子贡献率因子贡献与因子贡献率矩阵矩阵A A第第j列元素列元素 反映了第反映了第j个公个公因子因子Fj对所有原始指标的影响对所有原始指标的影响;数据标准化后全部原始指标的总方差为指数据标准化后全部原始指标的总方差为指标个数标个数m。m1i2ij2jagmamgm1j2ij2j Fj对原始指标对原始指标的方差贡献率的方差贡献率49感谢你的观

18、看2019年8月7各因子的贡献各因子的贡献2mq2m22m122q22222121q212211a a a a a a a a a 2q2221g g g50感谢你的观看2019年8月73.因子载荷及因子载荷阵因子载荷及因子载荷阵jiF,Xijra qmij)a(A A51感谢你的观看2019年8月7 1.收集原始数据并整理为下表收集原始数据并整理为下表 52感谢你的观看2019年8月72.对各指标进行标准化对各指标进行标准化3.求指标间的相关系数矩阵求指标间的相关系数矩阵R RX X4.求指标间的约相关系数矩阵求指标间的约相关系数矩阵R R*（1）R R*的非对角线元素与相关矩阵的非对角线元

19、素与相关矩阵R RX X的的 非对角线元素相等非对角线元素相等 （2）R R*的对角线元素为共性方差的对角线元素为共性方差ji rrij*ij hr2i*ii h2i53感谢你的观看2019年8月75.求出约关系数矩阵求出约关系数矩阵R R*所有大于零的特所有大于零的特 征值及相应的特征向量征值及相应的特征向量6.写出因子载荷阵写出因子载荷阵A，得出原始指标，得出原始指标X的的 公因子表达式公因子表达式54感谢你的观看2019年8月7p要求：要求：1.保留公因子个数保留公因子个数q小于指标个数小于指标个数m，原则：，原则：j1 前前k个公因子累积贡献率个公因子累积贡献率70%2.各共性方差各共

20、性方差 接近于接近于1。3.各原始指标在同一公因子各原始指标在同一公因子Fj上的因子载荷上的因子载荷 之间的差别应尽可能大。之间的差别应尽可能大。2ihija55感谢你的观看2019年8月756感谢你的观看2019年8月71.主成分解主成分解57感谢你的观看2019年8月758感谢你的观看2019年8月759感谢你的观看2019年8月7主成分解：主成分解：除因子除因子1 1可初步认定为综合因子外，其余可初步认定为综合因子外，其余3个因子的专业意义不明显。个因子的专业意义不明显。2.主因子解：主因子解：除因子除因子1 1可初步认定为综合因子外，其余可初步认定为综合因子外，其余3个因子的专业意义不

21、明显。个因子的专业意义不明显。60感谢你的观看2019年8月7当各公因子的专业意义难以解释时，可以当各公因子的专业意义难以解释时，可以 通过因子旋转来解决。通过因子旋转来解决。如求得的因子载荷阵如求得的因子载荷阵A A不甚理想，可右乘不甚理想，可右乘 一个正交阵一个正交阵T T，使，使ATAT有更好的实际意义，有更好的实际意义，使各原始指标在同一公因子上使各原始指标在同一公因子上 之间之间 差别尽可能增大。差别尽可能增大。称因子正交旋转。称因子正交旋转。正交旋转可保持各指标的共性方差不变；正交旋转可保持各指标的共性方差不变；各公因子互不相关。各公因子互不相关。常用常用方差最大旋转法方差最大旋转

22、法等。等。ija61感谢你的观看2019年8月762感谢你的观看2019年8月763感谢你的观看2019年8月7 1.因子分析的解不唯一因子分析的解不唯一（1）同一问题可以有不同的因子分析解：同一问题可以有不同的因子分析解：主成分解、主因子解、极大似然解主成分解、主因子解、极大似然解（2）进行因子旋转以获得更为满意的解。进行因子旋转以获得更为满意的解。2.因子得分因子得分 不能直接进行计算，但可以估计。不能直接进行计算，但可以估计。64感谢你的观看2019年8月73.主成分分析与因子分析间的关系主成分分析与因子分析间的关系（1）两者的分析重点不一致两者的分析重点不一致 Z Z=AX=AX主成分

23、为原始变量线性组合，主成分为原始变量线性组合，重点在综合重点在综合原始变量信息。原始变量信息。X=AX=AF F+e+e原始变量为公因子与特殊因子线性组合，原始变量为公因子与特殊因子线性组合，公因子重点公因子重点反映支配原始变量的不可观测反映支配原始变量的不可观测的潜在因素。的潜在因素。重要重要65感谢你的观看2019年8月7（2）两者之间有密切的关系两者之间有密切的关系因子分析完全能够替代主成分分析，并且因子分析完全能够替代主成分分析，并且 功能更为强大。功能更为强大。主成分分析是一种思想，是一种得到目的主成分分析是一种思想，是一种得到目的 的中间手段，是其它多元统计分析方法的的中间手段，是其它多元统计分析方法的 基础，如因子分析常用主成分法求解。基础，如因子分析常用主成分法求解。主成分分析单独应用有其独到之处，如应主成分分析单独应用有其独到之处，如应 用于综合评价与主成分回归时非常实用、用于综合评价与主成分回归时非常实用、科学。科学。66感谢你的观看2019年8月767感谢你的观看2019年8月7Thank you!68感谢你的观看2019年8月7