最新主成分分析讲义课件.ppt

1、 1 基本思想 主成分概念首先由 Karl Parson在1901年引进，当时只对非随机变量来讨论的。1933年Hotelling将这个概念推广到随机变量。用途：用途：在回归分析、聚类分析、判别分析中降维；简化对样本进行排序的问题。2x1x1F2F主成分分析的几何解释平移、旋转坐标轴2x1x1F2F主成分分析的几何解释平移、旋转坐标轴2x1x1F2F 主成分分析的几何解释平移、旋转坐标轴2x1x1F2F主成分分析的几何解释平移、旋转坐标轴 如果我们将 轴和 轴先平移，再同时按逆时针方向旋转角度，得到新坐标轴 和 。2x1x1F2F 根据旋转变换的公式：cossinsincos212211xxy

2、xxyxU2121cossinsincosxxyy正交矩阵，即有为旋转变换矩阵，它是UIUUUU,1 Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的个点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。F简化了系统结构，抓住了主要矛盾。一、两个线性代数的结论一、两个线性代数的结论 1、若A是p阶实对称阵，则一定可以找到正交阵U，使ppp00000021AUU1pii.2.1,其中 是A A的特征根。2、若上述矩阵的特征根所对应的单位特征向量为 p

3、pppppuuuuuuuuu212222111211),(p1uuU 则实对称阵 属于不同特征根所对应的特征向量是正交的，即有p1uu,令AIUUUU 二、主成分的推导 （一）（一）第一主成分第一主成分设X的协方差阵为2212222111221pppppx由于x为非负定的对称阵，则有利用线性代数的知识可得，必存在正交阵U，使得p001UUX 其中1，2，p为x的特征根，不妨假设1 2 p。而U恰好是由特征根相对应的特征向量所组成的正交阵。ppppppuuuuuuuuu212222111211),(p1uuUpiiiuuu，21iUiPi,2,1 下面我们来看，是否由U的第一列元素所构成为原始变

4、量的线性组合是否有最大的方差。设有P维正交向量11111ppFa Xa X a X1211111)(aUUaaapFV121111,paaaa12p 12112p1puuau,u,uaupii121)(ua piii11auuaaUUa1aa1 1 1piiiia u u a21()piiia u 当且仅当a1=u1时，即 时，有最大的方差1。因为Var(F1)=U1xU1=1。如果第一主成分的信息不够，则需要寻找第二主成分。ppXuXuF11111（二）（二）第二主成分第二主成分在约束条件 下，寻找第二主成分 0),cov(21FFppXuXuF21122因为所以0),cov(),cov(1

5、21122121uuuuxuxuFF 则，对p维向量 ，有012uupiiipiiiiuuFV122122222)()(uuuuuu pii222)(uu22upiii122uuuu2 22uUUu2 222uu 2 ppXuXuXuF22221122 所以如果取线性变换：则 的方差次大。2F 类推 ppppppppppXuXuXuFXuXuXuFXuXuXuF22112222112212211111写为矩阵形式：XUFppppppuuuuuuuuu212222111211),(p1uuU),(21pXXXX4 4 主成分的性质主成分的性质一、均值一、均值UU)(xE二、方差为所有特征根之和二

6、、方差为所有特征根之和piiFVar1)(2222121pp 说明主成分分析把P个随机变量的总方差分解成为P个不相关的随机变量的方差之和。协方差矩阵的对角线上的元素之和等于特征根之和。三、精度分析三、精度分析 1）贡献率：第i个主成分的方差在全部方差中所占比重 ，称为贡献率，反映了原来P个指标多大的信息，有多大的综合能力。piii1 2）累积贡献率：前k个主成分共有多大的综合能力，用这k个主成分的方差和在全部方差中所占比重来描述，称为累积贡献率。piikii11 我们进行主成分分析的目的之一是希望用尽可能少的主成分F1，F2，Fk（kp）代替原来的P个指标。到底应该选择多少个主成分，在实际工作

7、中，主成分个数的多少取决于能够反映原来变量80%85以上的信息量为依据，即当累积贡献率80%（85）时的主成分的个数就足够了。最常见的情况是主成分为2到3个。pmmj,2,11111211221222212ppppppppxuuuFxuuuFxuuuFXUFXUF ppjjjjxuxuxuF22111122(,)(,)ijiiippjijjCov x FCov u Fu Fu F FuijijjijijjiuuFx),(可见，和 的相关的密切程度取决于对应线性组合系数的大小。ixjF 前面我们讨论了主成分的贡献率和累计贡献率，他度量了度量了F F1 1，F F2 2，F Fm m分别从原始变量

8、分别从原始变量X X1 1，X X2 2，X XP P中提取了多少信息。中提取了多少信息。那么那么X X1 1，X X2 2，X XP P各有多少信息各有多少信息分别分别F F1 1，F F2 2，F Fm m被提取了被提取了。应该用什么指标来度量？我们考虑到当讨论F1分别与X1，X2，XP的关系时，可以讨论F1分别与X1，X2，XP的相关系数，但是由于相关系数有正有负，所以只有考虑相关系数的平方。1122()()iiiippVar xVar u Fu Fu F222221 122iiimmippiuuuu则jiju 222/ijiju 如果我们仅仅提出了m个主成分，则第i 原始变量信息的被提

9、取率为：mjijmjiijjiu12122/是Fj 能说明的第i 原始变量的方差是Fj 提取的第i 原始变量信息的比重 例例 设 的协方差矩阵为 321,xxx200052021 解得特征根为 ，83.51 00.22 17.03，000.0924.0383.01U1002U000.0383.0924.03U 第一个主成分的贡献率为5.83/（5.83+2.00+0.17）=72.875%，尽管第一个主成分的贡献率并不小，但在本题中第一主成分不含第三个原始变量的信息，所以应该取两个主成分。Xi与F1的相关系数平方Xi与F2的相关系数平方信息提取率xi10.9250.855000.8552-0.

10、9980.996000.99630011111),(iiFx 21 i 22i 22),(iiFxi 925.01383.0*83.52111111 u998.05)924.0(*22221112 u013 定义：如果一个主成分仅仅对某一个原始变量有作用，则称为特殊成分。如果一个主成分所有的原始变量都起作用称为公共成分。(该题无公共因子）111212122212mmpppmuuuuuuuuu5 5 主成分分析的步骤主成分分析的步骤在实际问题中，X的协方差通常是未知的)21(21nlxxxplll，lXppjjlnliilxxxxxn)(111 第一步：由X的协方差阵x，求出其特征根，即解方程

11、，可得特征根 。021p 一、基于协方差矩阵0I 第二步：求出分别所对应的特征向量U1，U2，Up，piiiuuu，21iU第三步：计算累积贡献率，给出恰当的主成分个数。)(21pkkiF，XUii第四步：计算所选出的k个主成分的得分。将原始数据的中心化值:代入前k个主成分的表达式，分别计算出各单位k个主成分的得分，并按得分值的大小排队。ppiiixxxxxx，2211*XXXii 二、基于相关系数矩阵 如果变量有不同的量纲，则必须基于相关系数矩阵进行主成分分析。不同的是计算得分时应采用标准化后的数据。主成分spss:对18个区县得中职教育水平进行排名：学生人均教育经费。占比例；财政预算中中职经费所学校平均在校生人数；高级教师比例；本科学历教师比例；目；每万人中职专任教师数；每万人中职毕业生数目每万人中职招生数目；每万人中职在校生数目:987654321xxxxxxxxx52 结束语结束语