机器学习导论-第4章支持向量机.ppt

1、第第4章章 支持向量机支持向量机n了解经验风险最小化和结构风险最小化的含义以及它们之间了解经验风险最小化和结构风险最小化的含义以及它们之间的区别。的区别。n理解理解“支持向量支持向量”的概念以及最大化间隔的基本思想的概念以及最大化间隔的基本思想。n掌握支持向量机（掌握支持向量机（SVM）的基本原理。）的基本原理。n熟悉核函数的作用以及核方法的原理。熟悉核函数的作用以及核方法的原理。n熟悉支持向量机（熟悉支持向量机（SVM）的特点及应用场合。）的特点及应用场合。本章学习目标本章学习目标n4.1 统计学习理论基础统计学习理论基础n4.2 支持向量机的基本原理和特点支持向量机的基本原理和特点n4.3

2、 线性线性SVMn4.4 基于核函数的非线性基于核函数的非线性SVMn4.5 多分类多分类SVMn4.6 支持向量机的训练支持向量机的训练第第4章章 支持支持向量向量机机n机器学习机器学习 n主要研究从采集样本出发得出目前尚不能通过原理分主要研究从采集样本出发得出目前尚不能通过原理分析得到的规律，并利用这些规律对未来数据或无法观析得到的规律，并利用这些规律对未来数据或无法观测的数据进行预测测的数据进行预测。n模式识别模式识别 n对表征事务或现象的各种形式对表征事务或现象的各种形式(数值、文字及逻辑关系数值、文字及逻辑关系等等)信息进行处理和分析，以对事务或现象进行描述、信息进行处理和分析，以对

3、事务或现象进行描述、辨认、分类和解释的过程辨认、分类和解释的过程。4.1 统计学习理论统计学习理论基础基础n传统的机器学习理论基础传统的机器学习理论基础统计学统计学n缺点：缺点：统计学研究的是样本数目趋于无穷大时的渐近理论统计学研究的是样本数目趋于无穷大时的渐近理论n实际问题：实际问题：样本有限（小样本）样本有限（小样本）n统计学习理论统计学习理论n对对小样本小样本统计估计和预测学习的最佳理论统计估计和预测学习的最佳理论4.1 统计学习理论统计学习理论基础基础【注意注意】：这里所说的“小样本”是相对于无穷样本而言的，故只要样本数不是无穷，都可称为小样本，更严格地说，应该称为“有限样本有限样本”

4、。n学习过程的数学研究学习过程的数学研究nF.Rosenblatt于于19581958，19621962年把感知器作为一个学习机年把感知器作为一个学习机器模型器模型n统计学习理论的开始统计学习理论的开始nNovikoff(1962)证明了关于感知器的第一个定理证明了关于感知器的第一个定理n解决不适定问题的正则化原则的发现解决不适定问题的正则化原则的发现nTikhonov(1963)，Ivanov(1962)，Phillips(1962)nVapnik和和Chervonenkis(1968)提出了提出了VC熵熵和和VC维维的概念的概念n提出了统计学习理论的核心概念提出了统计学习理论的核心概念n得

5、到了关于收敛速度的非渐进界的主要结论得到了关于收敛速度的非渐进界的主要结论4.1 统计学习理论统计学习理论基础基础Vapnik和和Chervonenkis(1974)提出了提出了结构风险最小化结构风险最小化（SRM）归纳原则归纳原则。Vapnik和和Chervonenkis(1989)发现了经验风险最小化发现了经验风险最小化归纳原则和最大似然方法一致性的充分必要条件，归纳原则和最大似然方法一致性的充分必要条件，完成了对经验风险最小化归纳推理的分析完成了对经验风险最小化归纳推理的分析。90年代中期，有限样本情况下的机器学习理论研究年代中期，有限样本情况下的机器学习理论研究逐渐成熟起来，形成了较完

6、善的理论体系逐渐成熟起来，形成了较完善的理论体系统计学统计学习理论习理论(Statistical Learning Theory，简称，简称SLT)4.1 统计学习理论统计学习理论基础基础n机器学习问题机器学习问题n机器学习机器学习的的目目标标n通过有限的观测数据（通过有限的观测数据（Xi，yi）来估计输入与输出的函数关系，）来估计输入与输出的函数关系，并有一定的预测推广能力并有一定的预测推广能力4.1 统计学习理论统计学习理论基础基础n系统系统()是研究的对象，在给定是研究的对象，在给定输入输入 X下下得到一定的输出得到一定的输出，输，输出变量出变量 与输入与输入 X 之间存在一定之间存在一

7、定的依赖关系，即存在一个未知联的依赖关系，即存在一个未知联合概率合概率分布函数分布函数n待求学习机待求学习机(LM)的预测输出为的预测输出为 其中其中 是预测是预测函数函数 的广的广 义义参数集参数集n机器学习的基本问题机器学习的基本问题n机器学习就是从给定的函数集机器学习就是从给定的函数集f(xf(x，)()(是参数是参数)中，选中，选择出能够最好地逼近训练器响应的函数。择出能够最好地逼近训练器响应的函数。n机器学习的目的可以形式化地表示为：根据机器学习的目的可以形式化地表示为：根据n n个独立同分个独立同分布的观测样本布的观测样本 ，在一组函数在一组函数 中求出一个最优函数中求出一个最优函

8、数 对训练对训练器的响应进行估计，使期望风险最小器的响应进行估计，使期望风险最小 其中其中 是未知的，对于不同类型的机器学习问题有是未知的，对于不同类型的机器学习问题有不同形式的损失函数。不同形式的损失函数。1122(,),(,),(,)nnx yxyxy(,)f x0(,)f x(,)P x y()(,(,)(,)RL y f xdP x y4.1 统计学习理论统计学习理论基础基础n三类基本的机器学习问题三类基本的机器学习问题n模式识别模式识别n函数逼近（回归估计）函数逼近（回归估计）n概率密度估计概率密度估计【补充说明】：用有限数量信息解决问题的基本原则【补充说明】：用有限数量信息解决问题

9、的基本原则 在解决在解决一个给定问题时，要设法避免把解决一个更为一般的问题作为一个给定问题时，要设法避免把解决一个更为一般的问题作为其中间步骤其中间步骤。4.1 统计学习理论统计学习理论基础基础上述原则意味着，当解决模式识别或回归估计问题时，上述原则意味着，当解决模式识别或回归估计问题时，必须设法必须设法去去“直接直接”寻找待求的函数寻找待求的函数，而，而不是不是首先估计密度，然后用估计首先估计密度，然后用估计的密度来构造待求的函数。的密度来构造待求的函数。密度估计密度估计是统计学中的一个全能问题，即知道了密度就可以解决是统计学中的一个全能问题，即知道了密度就可以解决各种问题。一般地，估计密度

10、是一个不适定问题各种问题。一般地，估计密度是一个不适定问题(ill-posed problem)，需要大量观测才能较好地解决。需要大量观测才能较好地解决。实际上，需要解决的问题（如决策规则估计或回归估计）是很特实际上，需要解决的问题（如决策规则估计或回归估计）是很特殊的，殊的，通常只需要有某一合理数量的观测就可以解决通常只需要有某一合理数量的观测就可以解决。4.1 统计学习理论统计学习理论基础基础nSLT被认为是目前针对被认为是目前针对有限样本有限样本统计估计和预测学习的最统计估计和预测学习的最佳理论，它从理论上较为系统地研究了经验风险最小化原佳理论，它从理论上较为系统地研究了经验风险最小化原

11、则成立的条件、有限样本下经验风险与期望风险的关系及则成立的条件、有限样本下经验风险与期望风险的关系及如何利用这些理论找到新的学习原则和方法等问题。如何利用这些理论找到新的学习原则和方法等问题。nSLT的主要内容包括的主要内容包括:n基于经验风险原则的统计学习过程的一致性理论基于经验风险原则的统计学习过程的一致性理论n学习过程收敛速度的非渐进理论学习过程收敛速度的非渐进理论n控制学习过程的推广能力的理论控制学习过程的推广能力的理论n构造学习算法的理论构造学习算法的理论4.1 统计学习理论统计学习理论基础基础n对于未知的概率分布，最小化风险函数，只有样本的信息可以利用，对于未知的概率分布，最小化风

12、险函数，只有样本的信息可以利用，这导致了定义的期望风险是无法直接计算和最小化的。这导致了定义的期望风险是无法直接计算和最小化的。n根据概率论中大数定理，可用算术平均代替数据期望，于是定义了经根据概率论中大数定理，可用算术平均代替数据期望，于是定义了经验风险验风险 来逼近期望风险。来逼近期望风险。n经验风险最小化（经验风险最小化（ERM）原则：使用对参数）原则：使用对参数 求经验风险求经验风险 的最小值代替求期望风险的最小值代替求期望风险 的最小值。的最小值。4.1.1 经验风险最小化原则经验风险最小化原则n从期望风险最小化到经验风险最小化没有可靠的依据，只是直观上合从期望风险最小化到经验风险最

13、小化没有可靠的依据，只是直观上合理的想当然。理的想当然。n期望风险和经验风险都是期望风险和经验风险都是 的函数，概率论中的大数定理只说的函数，概率论中的大数定理只说明了当样本趋于无穷多时经验风险将在概率意义上趋近于期望风明了当样本趋于无穷多时经验风险将在概率意义上趋近于期望风险，并没有保证两个风险的险，并没有保证两个风险的 是同一点，更不能保证经验风险是同一点，更不能保证经验风险能够趋近于期望风险。能够趋近于期望风险。n即使有办法使这些条件在样本数无穷大时得到保证，也无法认定即使有办法使这些条件在样本数无穷大时得到保证，也无法认定在这些前提下得到的经验风险最小化方法在这些前提下得到的经验风险最

14、小化方法在样本数有限时在样本数有限时仍能得仍能得到好的结果。到好的结果。4.1.1 经验风险最小化原则经验风险最小化原则n为了研究经验风险最小化函数集的学习一致收敛速度和推广性，为了研究经验风险最小化函数集的学习一致收敛速度和推广性，SLT定义了一些指标来衡量函数集的性能，其中最重要的就是定义了一些指标来衡量函数集的性能，其中最重要的就是VC维（维（Vapnik-Chervonenkis Dimension）。）。nVC维维：对于一个指示函数（即只有：对于一个指示函数（即只有0和和1两种取值的函数）集，两种取值的函数）集，如果存在如果存在 h 个样本能够被函数集里的函数按照所有可能的个样本能够

15、被函数集里的函数按照所有可能的 2h 种种形式分开，则称函数集能够把形式分开，则称函数集能够把 h个样本打散，函数集的个样本打散，函数集的VC维就维就是能够打散的最大样本数目。是能够打散的最大样本数目。n如果对任意的样本数，总有函数能打散它们，则函数集的如果对任意的样本数，总有函数能打散它们，则函数集的VC维维就是无穷大。就是无穷大。4.1.2 函数集的学习性能与函数集的学习性能与VC维维4.1.2 函数集的学习性能与函数集的学习性能与VC维维n一般而言，一般而言，VC维越大，学习能力就越强，但学习机器也越复杂。维越大，学习能力就越强，但学习机器也越复杂。n目前还没有通用的关于计算任意函数集的

16、目前还没有通用的关于计算任意函数集的VC维的理论，只有对一维的理论，只有对一些特殊函数集的些特殊函数集的VC维可以准确知道。维可以准确知道。nN维实数空间中线性分类器和线性实函数的维实数空间中线性分类器和线性实函数的VC维是维是 n+1。nSin(ax)的的VC维为无穷大。维为无穷大。nn对于给定的学习函数集，如何用理论或实验的方法计算对于给定的学习函数集，如何用理论或实验的方法计算其其 VC 维维是当前统计学习理论研究中有待解决的一个难点问题。是当前统计学习理论研究中有待解决的一个难点问题。4.1.2 函数集的学习性能与函数集的学习性能与VC维维n学习机器对未来输出进行正确预测的能力称作学习

17、机器对未来输出进行正确预测的能力称作泛化能力（泛化能力（也称为也称为“推广能力推广能力”）。）。n在某些情况下，训练误差过小反而导致推广能在某些情况下，训练误差过小反而导致推广能力的下降，这就是力的下降，这就是过学习过学习问题。问题。n神经网络的过学习问题是经验风险最小化原则神经网络的过学习问题是经验风险最小化原则失败的一个典型例子。失败的一个典型例子。4.1.3 模型的复杂度与泛化能力模型的复杂度与泛化能力用三角函数拟合任意点用三角函数拟合任意点4.1.3 模型的复杂度与泛化能力模型的复杂度与泛化能力学习的示例学习的示例4.1.3 模型的复杂度与泛化能力模型的复杂度与泛化能力n在有限样本情况

18、下，在有限样本情况下，n经验风险最小并不一定意味着期望风险最小；经验风险最小并不一定意味着期望风险最小；n学习机器的复杂性不但与所研究的系统有关，而且要和有限学习机器的复杂性不但与所研究的系统有关，而且要和有限的学习样本相适应；的学习样本相适应；n学习精度和推广性之间似乎是一对不可调和的矛盾，采用复学习精度和推广性之间似乎是一对不可调和的矛盾，采用复杂的学习机器虽然容易使得学习误差更小，却往往丧失推广杂的学习机器虽然容易使得学习误差更小，却往往丧失推广性；性；n传统的解决办法（例如：采用正则化、模型选择、噪声干扰传统的解决办法（例如：采用正则化、模型选择、噪声干扰等方法以控制学习机器的复杂度）

19、缺乏坚实的理论基础。等方法以控制学习机器的复杂度）缺乏坚实的理论基础。4.1.3 模型的复杂度与泛化能力模型的复杂度与泛化能力nSLT系系统地研究了经验风险和实际风险之间的统地研究了经验风险和实际风险之间的关系，关系，也也即即推广性的界推广性的界。n根据根据SLT中关于函数集推广性界的中关于函数集推广性界的理论，对于理论，对于指示函指示函数集中所有的数集中所有的函数，经验风险函数，经验风险 和和实际实际风险风险 之间之间至少以概率至少以概率 满足满足如下关系如下关系:其中，其中，h是函数集的是函数集的VC维，维，n是样本数。是样本数。1(ln(2/)1)ln(/4)()()emphn hRRn

20、 4.1.4 推广性的界推广性的界n学习机器的实际风险由两部分组成学习机器的实际风险由两部分组成:n训练样本的经验风险训练样本的经验风险n置信范围（同置信水平置信范围（同置信水平 有关，而且还与学习机有关，而且还与学习机器的器的VC维和训练样本数有关）。维和训练样本数有关）。n在训练样本有限的情况下，学习机器的在训练样本有限的情况下，学习机器的VC维越高，则维越高，则置信范围就越大，导致实际风险与经验风险之间可能置信范围就越大，导致实际风险与经验风险之间可能的差就越大。的差就越大。(ln(2/)1)ln(/4)()()emphn hRRn()()()empnRRh 14.1.4 推广性的界推广

21、性的界n在设计分类器时，在设计分类器时，不但要使经验风险最小化，还要使不但要使经验风险最小化，还要使VC维尽量小，从而缩小置信范围，使期望风险最小。维尽量小，从而缩小置信范围，使期望风险最小。n寻找反映学习机器的能力的更好参数，从而得到更好的界寻找反映学习机器的能力的更好参数，从而得到更好的界是是SLT今后的重要研究方向之一。今后的重要研究方向之一。4.1.4 推广性的界推广性的界n传统机器学习方法中普遍采用的经验风险最小化原则在样传统机器学习方法中普遍采用的经验风险最小化原则在样本数目有限时是不合理的，因此，需要同时最小化经验风本数目有限时是不合理的，因此，需要同时最小化经验风险和置信范围。

22、险和置信范围。n统计学习理论提出了一种新的策略，即把函数集构造为一统计学习理论提出了一种新的策略，即把函数集构造为一个函数子集序列，使各个子集按照个函数子集序列，使各个子集按照VCVC维的大小排列维的大小排列;在每在每个子集中寻找最小经验风险，在子集间折衷考虑经验风险个子集中寻找最小经验风险，在子集间折衷考虑经验风险和置信范围，取得实际风险的最小。这种思想称作和置信范围，取得实际风险的最小。这种思想称作结构风结构风险最小化险最小化(Structural Risk Minimization)，即即SRM准则。准则。4.1.5 结构风险最小化归纳原则结构风险最小化归纳原则4.1.5 结构风险最小化

23、归纳原则结构风险最小化归纳原则n实现实现SRM原则的两种思路原则的两种思路n在每个子集中求最小经验风险，然后选择使最小经在每个子集中求最小经验风险，然后选择使最小经验风险和置信范围之和最小的子集。验风险和置信范围之和最小的子集。n设计函数集的某种结构使每个子集中都能取得最小设计函数集的某种结构使每个子集中都能取得最小的经验风险，然后只需选择适当的子集使置信范围的经验风险，然后只需选择适当的子集使置信范围最小，则这个子集中使经验风险最小的函数就是最最小，则这个子集中使经验风险最小的函数就是最优函数。优函数。支持向量机方法实际上就是这种思路的实支持向量机方法实际上就是这种思路的实现。现。4.1.5

24、 结构风险最小化归纳原则结构风险最小化归纳原则n4.1 统计学习理论基础统计学习理论基础n4.2 支持向量机的基本原理和特点支持向量机的基本原理和特点n4.3 线性线性SVMn4.4 基于核函数的非线性基于核函数的非线性SVMn4.5 多分类多分类SVMn4.6 支持向量机的训练支持向量机的训练第第4章章 支持支持向量向量机机n1963年，年，Vapnik在解决模式识别问题时提出了支持向量在解决模式识别问题时提出了支持向量方法方法,这种方法从训练集中选择一组特征子集这种方法从训练集中选择一组特征子集,使得对特使得对特征子集的划分等价于对整个数据集的划分征子集的划分等价于对整个数据集的划分,这组

25、特征子集这组特征子集就被称为支持向量就被称为支持向量(SV)。n1971年，年，Kimeldorf提出使用线性不等约束重新构造提出使用线性不等约束重新构造SV的核空间的核空间,解决了一部分线性不可分问题。解决了一部分线性不可分问题。n1990年，年，Grace,Boser和和Vapnik等人开始对等人开始对SVM进行研进行研究。究。n1995年，年，Vapnik正式提出统计学习理论。正式提出统计学习理论。4.2 支持向量机的基本支持向量机的基本原理和特点原理和特点nSVM从线性可分情况下的最优分类面发展而来。从线性可分情况下的最优分类面发展而来。n最优分类面就是要求分类线不但能将两类正确分开最

26、优分类面就是要求分类线不但能将两类正确分开(训练训练错误率为错误率为0),且使分类间隔最大。且使分类间隔最大。nSVM考虑寻找一个满足分类要求的超平面考虑寻找一个满足分类要求的超平面,并且使训练集并且使训练集中的点距离分类面尽可能的远中的点距离分类面尽可能的远,也就是寻找一个分类面使也就是寻找一个分类面使它两侧的间隔它两侧的间隔(margin)最大。最大。4.2.1 支持向量机的基本支持向量机的基本原理原理n过两类样本中离分类面最近的点且平行于最优分类面的过两类样本中离分类面最近的点且平行于最优分类面的超平面上超平面上H1,H2的训练样本就叫做的训练样本就叫做支持向量支持向量。4.2.1 支持

27、向量机的基本支持向量机的基本原理原理支持向量间隔间隔n最大间隔最大间隔 低低VC维维 高推广能力高推广能力n核函数核函数 解决低维线性不可分问题解决低维线性不可分问题4.2.1 支持向量机的基本支持向量机的基本原理原理n有坚实的理论基础有坚实的理论基础；n基于结构风险最小化，克服了传统方法的过学习和陷基于结构风险最小化，克服了传统方法的过学习和陷入局部最小的问题，具有很强的泛化能力；入局部最小的问题，具有很强的泛化能力；n采用核函数方法，向高维空间映射时不增加计算的复采用核函数方法，向高维空间映射时不增加计算的复杂性，又克服了维数灾难杂性，又克服了维数灾难。4.2.2 支持向量机的支持向量机的

28、特点特点n4.1 统计学习理论基础统计学习理论基础n4.2 支持向量机的基本原理和特点支持向量机的基本原理和特点n4.3 线性线性SVMn4.4 基于核函数的非线性基于核函数的非线性SVMn4.5 多分类多分类SVMn4.6 支持向量机的训练支持向量机的训练第第4章章 支持支持向量向量机机4.3 线性线性SVM对于一个线性可分的样对于一个线性可分的样本数据集，本数据集，其其分分类类超平超平面通常面通常不止一个不止一个。4.3 线性线性SVMn最优分类超平面最优分类超平面:分分类类超超平面使得两类样本数据平面使得两类样本数据与该分与该分类类超平面形成的超平面形成的间隔均为最大间隔均为最大。4.3

29、 线性线性SVM4.3 线性线性SVMn优化问题优化问题：n问题求解问题求解：Lagrange乘子法）得出对偶问题：乘子法）得出对偶问题：212min.()10(1,2,.,)iiwstywxbin 11111min()2.0,0,1,2,.,lllijijijjijjliiiiy yxxs tyil 4.3 线性线性SVMn原问题最优解原问题最优解：n决策函数决策函数：*1()sgn()liiiif xyx xb*1liiiiwyx4.3 线性线性SVMn4.1 统计学习理论基础统计学习理论基础n4.2 支持向量机的基本原理和特点支持向量机的基本原理和特点n4.3 线性线性SVMn4.4 基

30、于核函数的非线性基于核函数的非线性SVMn4.5 多分类多分类SVMn4.6 支持向量机的训练支持向量机的训练第第4章章 支持支持向量向量机机n很多情况下很多情况下，训练数据集是训练数据集是线性不可分线性不可分的的，Vapnik等人等人提出了用广义分类面提出了用广义分类面（松弛子松弛子）来解决这一问题来解决这一问题。n非线性问题非线性问题通过非线性变换将它转化为某个高维空通过非线性变换将它转化为某个高维空间中的线性问题间中的线性问题，在这个高维空间中寻找最优分类面在这个高维空间中寻找最优分类面。4.4 基于核函数的非线性基于核函数的非线性SVMn一个简单的例子一个简单的例子n二维平面中分类曲线

31、为椭圆（线性不可分）二维平面中分类曲线为椭圆（线性不可分）221 1223 1220w xw xw x xb4.4 基于核函数的非线性基于核函数的非线性SVMn二二维向三维的映射：维向三维的映射：n三维空间中线性可分三维空间中线性可分 分类面：分类面：n根据支持向量机求得决策函数为根据支持向量机求得决策函数为22121231212:(,)(,):(,2)x xz zzxxx x1 122330w zw zw zb*1()sgn()()liiiif zyzzb 4.4 基于核函数的非线性基于核函数的非线性SVMn 的内积计算：的内积计算：n令令称为称为核函数核函数高维空间中内积计算可以通过计算低

32、维空间的内积得高维空间中内积计算可以通过计算低维空间的内积得到，核函数就是连接低维与高维之间的桥梁。到，核函数就是连接低维与高维之间的桥梁。()()zz,1 122332,22,2,11221122,21122,2()()2()()zzz zz zz zx xx xx x x xx xx xx x,2(,)(,)K x xx x4.4 基于核函数的非线性基于核函数的非线性SVMn核技巧核技巧用核函数来替换用核函数来替换原来原来的内积的内积。()()()()()()()()()()()()()()()()()()特征空间输入空间4.4 基于核函数的非线性基于核函数的非线性SVMn高维空间中支持向

33、量机得出的决策函数可改写成：高维空间中支持向量机得出的决策函数可改写成：n因此得出一般的情形：因此得出一般的情形：对于线性不可分的样本，作一个低维到高维的映射，使之在对于线性不可分的样本，作一个低维到高维的映射，使之在高维的空间中线性可分，在高维空间中采用最大间隔准高维的空间中线性可分，在高维空间中采用最大间隔准则则得得出决策函数，由于巧妙的选取出决策函数，由于巧妙的选取核函数核函数，决策函数中在计算内，决策函数中在计算内积时只需换成核函数即可。积时只需换成核函数即可。n优点：优点：由于核函数的特性，只需计算低维空间内积，而无需由于核函数的特性，只需计算低维空间内积，而无需计算高维空间的内积，

34、因此计算量与样本维数无关，只与样计算高维空间的内积，因此计算量与样本维数无关，只与样本数有关。本数有关。*1()sgn(,)liiiif xyK x xb4.4 基于核函数的非线性基于核函数的非线性SVMn常用核函数常用核函数n多项式核：多项式核：n径向基核：径向基核：nSigmoid核：核：nMercer核：满足核：满足Mercer条件的对称函数，所有条件的对称函数，所有核函数要满足核函数要满足Mercer条件！条件！,(,)()dK x xx xc2,2(,)expxxK x x,(,)tanh()K x xv x xc4.4 基于核函数的非线性基于核函数的非线性SVMnMercer条件条

35、件2(,),()0(),)()()0K x xxx dxKxxx dxdx对于任意的对称函数它是某个特征空间中的内积运算的充要条件是,对于任意的且有(x,4.4 基于核函数的非线性基于核函数的非线性SVMn4.1 统计学习理论基础统计学习理论基础n4.2 支持向量机的基本原理和特点支持向量机的基本原理和特点n4.3 线性线性SVMn4.4 基于核函数的非线性基于核函数的非线性SVMn4.5 多分类多分类SVMn4.6 支持向量机的训练支持向量机的训练第第4章章 支持支持向量向量机机4.5 多分类多分类SVM4.5 多分类多分类SVM4.5 多分类多分类SVMn4.1 统计学习理论基础统计学习理论基础n4.2 支持向量机的基本原理和特点支持向量机的基本原理和特点n4.3 线性线性SVMn4.4 基于核函数的非线性基于核函数的非线性SVMn4.5 多分类多分类SVMn4.6 支持向量机的训练支持向量机的训练第第4章章 支持支持向量向量机机4.6 支持向量机的训练支持向量机的训练Question?