偏最小二乘回归方法2021完整版课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《偏最小二乘回归方法2021完整版课件.ppt》由用户(ziliao2023)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最小 回归 方法 2021 完整版 课件
- 资源描述:
-
1、偏最小二乘回归方法偏最小二乘回归方法简言之简言之 偏最小二乘回归是一种集多元线性回归分析、典型相关分析和主成分分析的基本功能为一体的新型多元统计分析方法。此方法的优点:(1)能在自变量存在严重多重相关性的条件下进行回归建模;(2)允许在样本点个数少于自变量个数的条件下进行回归建模;此方法的优点:(3)偏最小二乘回归在最终模型中将包含原有的所有自变量,易于辨识系统信息与噪声,而且其自变量的回归系数也将更容易解释。此方法的优点:(4)偏最小二乘回归方法与其他的建模方法相比,具有计算简单、预测精度高,易于定性解释的优点。多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导0010(,)pn pEEE
2、0010(,)qn qFFF12(,)qn qYy yy12(,)pn pXx xx 首先将数据做标准化处理。原自变量数据表 经标准化后的数据矩阵记为原因变量数据表经标准化后的数据矩阵记多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导 第一步:记 是 的第一个成分,是 的第一个轴,它是一个单位向量,即有 。记 是 的第一个成分 ,是 的第一个轴,它是一个单位向量,即 。1t0E101tE10E111u0F10 1uF c1c0F11c多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导 如果要使 ,能很好的代表 与 中的数据变异信息,根据主成分分析原理,应该有 ,。1t1uXY 1maxV
3、ar t 1maxVar u多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导 另一方面,由于回归建模的需要,又要求 对 有最大的解释能力,由典型相关分析的思路,与 的相关度应达到最大值,即 1t1u1u11,maxr t u1t多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导 因此,综合起来,在偏最小二乘回归中,我们要求 与 的协方差达到最大,即 1t1u 111111,maxCov t uVar t Var ur t u多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导 正规的数学表述应该是求解下列优化问题,即110101,max,cEF c11111.1TTs tc c 多因变量
4、偏最小二乘算法推导多因变量偏最小二乘算法推导采用拉格朗日算法,记100 111121111TTTTsE F cc c s11c12对 分别求关于 ,和 的偏导数,并令之为零,有多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导00 111120TsE F c0012 1120TsF Ecc11110Ts 11210Tsc c(1)式(2)式(3)式(4)式多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导由上述四个式子可以推出12100 1010 122,TTE F cEF c记 ,所以 正是优化问题的目标函数值。112100 122TTE F c1多因变量偏最小二乘算法推导多因变量偏最小
5、二乘算法推导把(1)和(2)式写成00 111TE F c 0011 1TF Ec20000111TTE F F E 将(6)代入(5),有(5)式(6)式(7)式多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导同理,可得20000 111TTF E E F cc 易知,是矩阵 的特征向量,对应的特征值为 。是目标函数,它要求取最大值。10000TTE F F E21110000TTE F F E 所以,是对应于矩阵 的最大特征值的单位特征向量。多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导 易知,是对应于矩阵 的最大特征值 的单位特征向量。1c0000TTF EE F21 求得轴
6、和 后,即可得到成分 ,。然后,分别求 和 对 与 的三个回归方程11c101tE10 1uF c0E0F1t1u多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导01 11TFt rF0111TEt pE*01 11TFu qF其中0 1121TE tpt01121TF uqu01121TF trt多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导而 ,分别是三个回归方程的残差矩阵。1E*1F1F多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导 第二步:用残差矩阵 和 取代 和 。然后,求第二个轴 和 以及第二个成分 ,有1E1F0E0F22c2t2u212tE21 2uFc2222
7、11 2,TTt uE Fc多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导 是对应于矩阵 的最大特征值 的特征向量;是对应于矩阵 的最大特征值 的特征向量。22c1111TTF E E F221111TTE FF E22多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导计算回归系数12222TE tpt12222TF trt1222TEt pE12 22TFt rF因此,有回归方程(8)式多因变量偏最小二乘算法推导多因变量偏最小二乘算法推导011TTmmEt pt p 如此计算下去,如果的 秩是 ,则会有01 1TTm mmFt rt rF 由于 均可以表示成 的线性组合。1,mtt0
展开阅读全文