SVM分类与回归简介ppt课件.ppt

1、1支持向量回归机松弛变量、核函数与特征映射支持向量机-线性分类器机器学习问题简介3 31 12 23 34 4总结5 52什么是机器学习？机器学习(Machine Learning)是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核 心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。Alpaydin（2004）同时提出自己对机器学习的定义，“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。一个有趣的例子3机器学习就是从给定的函数集f(x x,)(是参数)中,选择出能够最好地逼近训练器响应的函数

2、。机器学习的目的可以形式化地表示为：根据n个独立同分布的观测样本 ，在一组函数 中求出一个最优函数 对训练器的响应进行估计,使期望风险最小 其中 是未知的,对于不同类型的机器学习问题有不同形式的损失函数。 1122( ,),(,),(,)nnx yxyxy ( , )f x0 ( , )f x( )( , ( , )( , )RL y f xdP x y( , )P x y4模式识别令训练器的输出y只有两种取值 ，并令 为指示函数集合（指示函数只有0和1两种取值），考虑下面的损失函数：我们把指示函数给出的答案与训练器输出不同的情况叫做分类错误，这样学习问题就变成了寻找使损失函数最小的问题。1

3、, 0y( , ),f x a a0( , )( ,( , )1( , )yf x aL y f x ayf x a若若5回归估计令训练器的输出y为实数值，并令为实数集，回归函数就是在损失函数最小化的函数估计密度估计密度估计就是从密度函数集中估计密度函数的问题( , ),f x a a2( ,( , )( , )L y f x ayf x a6支持向量机（Support Vector Machine, SVM）1963年，Vapnik在解决模式识别问题时提出了支持向量方法,这种方法从训练集中选择一组特征子集,使得对特征子集的划分等价于对整个数据集的划分,这组特征子集就被称为支持向量(SV)。1

4、971年，Kimeldorf提出使用线性不等约束重新构造SV的核空间,解决了一部分线性不可分问题。1990年，Grace,Boser和Vapnik等人开始对SVM进行研究。1995年，Vapnik正式提出统计学习理论。7SVM从线性可分情况下的最优分类面发展而来。最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0),且使分类间隔最大。SVM考虑寻找一个满足分类要求的超平面,并且使训练集中的点距离分类面尽可能的远,也就是寻找一个分类面使它两侧的空白区域(margin)最大。8+1-1如何进行数据分类(x,)()f,sign.bw bw x9+1-1(x,)()f,sign.bw bw

5、x如何进行数据分类10+1-1(x,)()f,sign.bw bw x如何进行数据分类11+1-1(x,)()f,sign.bw bw x如何进行数据分类12+1-1如何选择最优分类面？13+1-1线性分类器的间隔（ margin）：到超平面最近的样本与此超平面之间的距离。(x,)()f,sign.bw bw x14+1-1具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM) (称为线性支持向量机，即LSVM)(x,)()f,sign.bw bw x15+1-1支持向量(Support Vectors) :是那些距离超平面最近的点。具有最大间隔的线性分类器叫做

6、最大间隔线性分类器。其就是一种最简单的支持向量机(SVM) (称为线性支持向量机，即LSVM)16+1-1f f(x x,w w,b) = sign(w w. x. x - b)支持向量(Support Vectors) :是那些距离超平面最近的点。具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM) (称为线性支持向量机，即LSVM)1.直观上感觉很好. 2.学习得到的线性分类器.其对未知样本的预测能力与分类器间隔有如下关系：)arg1()()(inmRRemp17()1,1,.,iiyw xbil假定训练数据可以被一个超平面分开我们进行正归化此时分类间隔等

7、于使最大间隔最大等价于使 最小RbRwbxwN, 0).(11( ,),.,( ,), 1, 1nllx yx yxR y 2w2w18最优分类面问题可以表示成约束优化问题 Minimize Subject to定义Lagrange函数211( )()22()1,1,.,iiwww wyw xbilliiiibwxywbwL1221) 1)(),(19liiiibwxywbwL1221) 1)(),(Lagrange函数令其偏导数为0得到( , , )0 ,( , , )0L w bL w bbwiiliiiliixywya11020因此该问题的求解可转化为一个标准的二次优化问题，通过对该问题

8、的求解即可完成支持向量的求解12,11111*:1:1min: ( )().0,1,., ,0( )sgn()maxmin2iillijijijii jiliiiiliiiiliiiiTTi yii yiJy yx xstilandyf xyx xbwy xw xw xb 目标函数：决策函数：21以上所得到的最优分类函数为：该式只包含待分类样本与训练样本中的支持向量的内积 运算，要解决一个特征空间中的最优线性分类问题,我们只需要知道这个空间中的内积运算即可。若存在离群点，则问题变成了线性不可分？*1( )sgnsgn()liiiif xwxby x xb 22线性不可分的情况下，可以条件中增加

9、一个松弛项成为已知：求解：目标：最优分类面 , ,1,. , 1,1,diiiix yil yxR 0w xb 0),.,2 , 1(1)()|21min(12iiiiniinibxwyCw1,0lii ()1iiiy w xb 折衷考虑最少错分样本和最大分类间隔，就得到广义最优分类面，其中，C0是一个常数，它控制对错分样本惩罚的程度。()1iiy w xb231）并非所有的样本点都有一个松弛变量与其对应。实际上只有“离群点”才有，或者也可以这么看，所有没离群的点松弛变量都等于0。2）松弛变量的值实际上标示出了对应的点到底离群有多远，值越大，点就越远。3）惩罚因子C决定了对离群点带来的损失的重

10、视程度，显然当所有离群点的松弛变量的和一定时，C越大，对目标函数的损失也越大，此时就暗示着你非常不愿意放弃这些离群点，最极端的情况是你把C定为无限大，这样只要稍有一个点离群，目标函数的值马上变成无限大，马上让问题变成无解，这就退化成了硬间隔问题。4）惩罚因子C不是一个变量24以上介绍了线性情况下的支持向量机，它通过寻找一个线性的超平面来达到对数据进行分类的目的。不过，由于是线性方法，所以对非线性的数据就没有办法处理了。如下图所示的两类数据，分别分布为两个圆圈的形状，这样的数据本身就是线性不可分的。25一个理想的分界应该是一个“圆圈”而不是一条线（超平面）。如果用X1和X2来表示这个二维平面的两

11、个坐标的话，我们知道一条二次曲线（圆圈是二次曲线的一种特殊情况）的方程可以写作这样的形式：如果构造一个五维空间，则上式可表示为线性方程221121324251260a Xa Xa Xa Xa X Xa2211213242512561,0iiiZX ZXZXZXZX Xa Za26为解决上述问题，引入核函数（Kernel Function）的概念11221,21,21212,( , )( )( ).( ,. )( )( ( ),.,( )= ( )|: ()()(,)lnKx zXK x zxzXFxxxxxxXFxxXx xx xxxx x核是一个函数对所有满足这里 是从输入空间 到到特征空间

12、 的映射将输入空间 映射到一个新的空间例如27对应线性可分的情况，可以将分类函数写成如下内积的形式通过核函数进行特征映射则问题同样转化为对如下对偶问题的求解1( ),liiiif xyx xb1( )( ), ( )liiiif xyxxb121,11max :()(),().0,1,., ,0lliijijijii jliiiiWy yxxs tilandy 目标函数：28计算两个向量在隐式映射过后的空间中的内积的函计算两个向量在隐式映射过后的空间中的内积的函数叫做核函数数叫做核函数(Kernel Function)核函数能简化映射空间中的内积运算简化映射空间中的内积运算SVM SVM 里里

13、需要计算的地方数据向量总是以内积的形式出现需要计算的地方数据向量总是以内积的形式出现的。因此分类函数可以表示分类函数可以表示为：,1( )()liiiif xy K x xb29其中可由如下对偶问题求解这样计算的问题就算解决了，避开了直接在高维空间中进行计算。常用核函数121,11max :()(,). .0,1,., ,0lliijijijii jliiiiWy y K xxs tilandy 212122( ,)exp()2xxK x x30SVM本身是针对经典的二分类问题提出的，支持向量回归机（Support Vector Regression，SVR）是支持向量在函数回归领域的应用。S

14、VR与SVM分类有以下不同：SVM回归的样本点只有一类，所寻求的最优超平面不是使两类样本点分得“最开”，而是使所有样本点离超平面的“总偏差”最小。这时样本点都在两条边界线之间，求最优回归超平面同样等价于求最大间隔。31对于线性情况，支持向量机函数拟合首先考虑用线性回归函数拟合标准支持向量机采用 -不灵敏度函数，即假设所有训练数据在精度 下用线性函数拟合图。( )( ,),1,2,., ,niiiif xxbx yin xRyR32约束条件33该问题的求解为二次优化问题，通过拉格朗日乘子转化为其对偶形式计算b的值及决策函数*1,1*11*1*1( ,)()()()2()()()0. .0,nii

15、jjijijnniiiiiiiniiiiiWxxystC *0*0*11()(, )()(, )( )()ijjiijjjiCxSVNSVijjjixSVCniiiibyx xNyx xf xx bx x b 决策函数：34非线性SVR的基本思想是通过事先确定的非线性映射将输入向量映射的一个高维特征空间中，然后在此高维空间中再进行线性回归，从而取得在原空间非线性回归的效果。首先将输入量通过映射 映射到高维特征空间H中，则则优化目标函数变为：nRH：( )( )f xxb *1,1*11*1*1( ,)()()( ( )()2()()()0. .0,niijjijijnniiiiiiiniiii

16、iWxxystC 35在高维空间中计算内积十分复杂，鉴于核函数优秀的内积计算性质则优化目标函数可表示为( , )( )( )K x zxz*1,1*11*1*1( ,)()()( ,)2()()()0. .0,niijjijijnniiiiiiiniiiiiWK x xystC 36得到回归函数即为标准-不敏感损失函数下的回归函数形式。可以表示为*1( )( )()( ,)liiiif xxbK x xb 37SVM的理论基础比NN更坚实，更像一门严谨的“科学”（三要素：问题的表示、问题的解决、证明）SVM 严格的数学推理NN 强烈依赖于工程技巧推广能力取决于“经验风险值”和“置信范围值”，N

17、N不能控制两者中的任何一个。NN设计者用高超的工程技巧弥补了数学上的缺陷设计特殊的结构，利用启发式算法，有时能得到出人意料的好结果。38 非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射; 对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM方法的核心; 支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量。 SVM 是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度及大数定律等,因此不同于现有的统计方法。从本质上看,它避开了从归纳到演绎的传统过程,实现了高效的从训练样本到预报样本的“转导推理”(transductive inference) ,大大简化了通常的分类和回归等问题。3940