(课件)-PCA和LDA.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《(课件)-PCA和LDA.ppt》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 课件 PCA LDA
- 资源描述:
-
1、PCA和LDA 葛永新 Contents特征脸的物理含义特征脸的物理含义关于主成分的理解关于主成分的理解作者信息作者信息 论文信息论文信息 训练阶段训练阶段识别阶段识别阶段 论文信息论文信息vTurk M,Pentland AEigenfaces for recognitionJJoumal of Cognitive Neumseience,1991,3(1):7186. 作者信息(作者信息(1/2)vMatthew Turk Professor Computer Science Department Media Arts and Technology Program University o
2、f California, Santa Barbara Research interests: Computer vision and imaging, perceptual interfaces, multimodal interaction, human-computer interaction, gesture recognition, artificial intelligencehttp:/www.cs.ucsb.edu/mturk/ 作者信息(作者信息(1/2)vProf. Alex Paul Pentland Toshiba Professor of Media, Arts, a
3、nd Sciences Massachusetts Institute of Technology http:/www.media.mit.edu/pentland Director, Human Dynamics Laboratory Director, Media Lab Entrepreneurship P 关于主成分的理解(关于主成分的理解(1/3)v五行是一种哲学观,认为万事万物都是五行是一种哲学观,认为万事万物都是由金木水火土这五种要素组成由金木水火土这五种要素组成 v西方人:所有事物都是由元素周期表中的103种元素组成的 水:水: H2O = 2*H + 1*Ov线性代数 寻找基
4、向量的过程 关于主成分的理解(关于主成分的理解(2/3)vPCA的基础就是K-L变换,是一种常用的正交变化 , K-L变换思想如下:v假设X为n维随机变量,X可以用n个基向量的加权和表示 其中 是加权系数, 是基向量,其矩阵表示形式是 其系数向量为 niiiX1iiTTnnX),)(;(2121XaT 关于主成分的理解(关于主成分的理解(3/3)v综上所述,K-L展开式的系数可用下列步骤求出 1.求随机向量X的自相关矩阵R=E(XTX),通常我们采用数据集的协方差矩阵作为K-L坐标系的产生矩阵;2.求出自相关矩阵或协方差矩阵的特征值 和特征向量 , ;3. 展开式系数即为 ,由正交性可得 ,此
5、二式为K-L变换公式 ii),(21nXTX 特征脸的物理含义(特征脸的物理含义(1/4)比如ORL人脸数据库中有400幅人脸图像,是不是可以 找到一组基,让所有的人脸库中的人脸都可以用这组基的线性组合来表示 特征脸的物理含义(特征脸的物理含义(2/4)意义何在?1. 维度大大减少假设数据库中的图像大小为112*92,那么存储这些图像所需要的空间大小为112*92*200=4121600;假设我们寻找一组基,不妨假定为40维(即40幅人脸图像),则数据库中的每幅图像都可以用这40幅图像表示,则这个数据库所需的存储空间为40*400=16000;对比:4121600/16000= 特征脸的物理含
6、义(特征脸的物理含义(3/4)意义何在?2. 投影方向区分度大命题1:随机变量方差越大,包含的信息越多,特别地,如果一个变量方差为0,则该变量为常数,不包含任何信息。命题2:所有原始数据在主分量上的投影方差为特征值。PCA思想:寻找主分量,即寻找一组向量,使得原始数据在这组向量上的投影值的方差尽可能大。最大方差对应的向量就是第一主分量,以此类推 特征脸的物理含义(特征脸的物理含义(4/4)意义何在?3. 去除原始数据的相关性t=COV(X,Y), t=1,相关;t=0,不相关命题:对于矩阵A来说,如果AAT是一个对角矩阵,则A中的向量是非相关的。1)特征脸,即基是正交的,非相关2)投影系数,可
7、以证明也是非相关的 训练阶段(训练阶段(1/12)训练阶段即是寻求最优特征脸(基)第一步:假设训练集有400个样本,由灰度图组成,每个样本的大小为M*N写出训练样本矩阵: X = (x1, x2, , x200)其中向量x为由第个图像的每一列向量堆成一列的MN维列向量,即把矩阵向量化,如下图所示: 训练阶段(训练阶段(2/12)如:第i个图像的矩阵为 则xi用这个列向量来表示 训练阶段(训练阶段(3/12)第二步:计算平均脸计算训练图片的平均脸 训练阶段(训练阶段(4/12) 平均脸示意图 训练阶段(训练阶段(5/12)第三步:计算差值脸(也叫去平均化)计算每张人脸与平均脸的差值200,.,2
8、 , 1, 训练阶段(训练阶段(6/12) 差值脸示意图 训练阶段(训练阶段(7/12)第四步:构建协方差矩阵),(,20012001200212001dddAAAddCTT 训练阶段(训练阶段(8/12)第五步:求协方差矩阵的特征值和特征向量,构造特征脸空间协方差矩阵的维数为MN*MN,考虑其维数较大,计算量也比较大,所以一般采用奇异值分解(Singular Value Decomposition, SVD),通过求解ATA来获得AAT的特征值和特征向量。 训练阶段(训练阶段(9/12)求出ATA的特征值 及其正交归一化特征向量协方差vi根据特征值的贡献率选取前p个最大特征值及其对应的特征向
9、量贡献率是指选取的特征值之和与所有特征值之和的比,即 训练阶段(训练阶段(10/12) 选取的特征脸示例Discussion:对应较大特征值的特征向量,用于表示人体的大体形状(低频信息),而对应于较小特征值的特征向量则用于描述人脸的具体细节(高频信息) 训练阶段(训练阶段(11/12)第六步:将每一幅人脸与平均脸的差值脸矢量投影到“特征脸”空间,即)200, 2 , 1(idwiT 训练阶段(训练阶段(12/12)一般选取 即使训练样本在前p个特征向量集上的投影有99%的能量求出原协方差矩阵的特征向量则“特征脸”空间为%990), 2 , 1(1piAvuiii),( 识别阶段(识别阶段(1/
10、5)第一步:将待识别的人脸图像T与平均脸的差值脸投影到特征空间,得到其特征向量表示:)(xTwTT 识别阶段(识别阶段(2/5) 待识别的人脸图像T 及其与平均脸的差值脸 识别阶段(识别阶段(3/5)第二步:采用欧式距离来计算 与每个人脸之间的距离 :Ti)399, 2 , 1(22iT 识别阶段(识别阶段(4/5)第三步:根据前面计算的欧式距离,找出与测试图像最小的图像标签,即为测试图像的标签 : 识别阶段(识别阶段(5/5) 数据库中最接近的图 测试图 Qusetions?U4+Uyx#*Z#Tc36CFHNx)fKN%DqfiUbo!Wl*d7zdxLVB77rU3%0%5gUnoBSC
11、JJ1bdK!ZUohdLHjYh4$zYsV7xL6FU#MY*HXSB(BXPE4xU-bCWuWFQ9cQ8zsgjC48%RUR3cKJJ37uaTnvEemq3Rjyx&zx7dFf$4oTKN4-7*ahv-qc3Rxao-qm*KHjQIW2!G)Ef4UTzP22#B63)RWoqoOwkjZN1fqm0G%&8Y)eEG#PS7G$5RibuZaeD&6Pg)Owc5NZBitFirzA4y&+WEdP0goA1I!gDXzNemVG8C*LFu16mNu&NUGz-jeM%eV5wxafE6YW83x!Cfq5275P9q-ZSFGTesl#Cnj*wuUKC43G$hiU
12、&pCpW+H)KXs63c2$rBv0y(l!e1ZlJEH!xx0YS#R0oqbRj<l2xaik1U%Pajg6V8YMBAbP!Zm)&tdyfKX&CUuRpNAEDQ9oqSFn%uf*lz9h#v(oaTgJiqULE5%hO-g-q-p#F#Xms$dc$vn%nOBgEXnTKJIEOt)hXzGLUe0KXGqEaDgLDp7slY7*gMAsMwjq!eU-HoI-uY&*TONXpEhj8BGtyyx&XGtkd+l9nFmoXvFlISczYdcRrMekQJXEtF1w#Vgft7qLMO4gC79g+vggL-NsaXrdW3pR8Ul+UUb4RHkjX*
13、fuCzOV0rJPUluauAnhdOLBkvdQupEZIwx1J5U5aPC$jMJpgjqMOpmr6rtFA!bTYFNbvau5D3EF&ppRAVIJeB*i7m0py93%2-35c5k3+5F%Q6(*&pR4yvjs7t(L)mGsEDIlC2ZbIaTp6IGhqhph(T3VtH!sxEEqlC!F7NHNgxYRu3ElLks4J09AVxz5FoZkUyJ!&f1xws!2#&X1SBBrCxrsRBxn1bV-!*EP)Q1qfTOI1BxiU3dWpB$n$JT3L+F6qXwTiW)vyuwP+v)As(iQgCC)GZa&gRE!j!qPl*WDE&ehF2
14、jJ+)7XYiSh#N-&D-(A$Dt%Dt9aszpp!GByNO)ei%If)9oDsKhX!w$gwsPBCbJJwf5npal*f*KmlHY*mDkOimnsdT-Ft0Z4ehQSz9)cOL9otEgRsfTnC(TmaZnrGxKSg)l7j54$WIa+$)St$65+7Sy$BXh3Kec8RjWxTiCpnq8qm2KpNENpC&hM$Py!#q*SpGXsWYEHEme&8jykWgcJX4I%aPZOqHDOuHB3tH&z$Qs6NKjVUexVZ50Jh$x+zkBvLyqF%geAFCAU8Tax)%nhzV!8t%H&ZDRWcgBstklbZj7v*&
展开阅读全文