模型评估与选择课件.pptx

1、模型评估与选择大纲经验误差与过拟合评估方法性能度量比较检验偏差与方差阅读材料经验误差与过拟合 错误率&误差：错误率:错分样本的占比：误差：样本真实输出与预测输出之间的差异 训练(经验)误差：训练集上 测试误差：测试集 泛化误差：除训练集外所有样本由于事先并不知道新样本的特征，我们只能努力使经验误差最小化；很多时候虽然能在训练集上做到分类错误率为零，但多数情况下这样的学习器并不好经验误差与过拟合 过拟合:学习器把训练样本学习的“太好”，将训练样本本身的特点当做所有样本的一般性质，导致泛化性能下降 优化目标加正则项 early stop 欠拟合：对训练样本的一般性质尚未学好 决策树:拓展分支 神经

2、网络:增加训练轮数经验误差与过拟合过拟合：学习器把训练样本本身特点当做所有潜在样本都会具有的一般性质.欠拟合：训练样本的一般性质尚未被学习器学好.大纲经验误差与过拟合评估方法性能度量比较检验偏差与方差阅读材料评估方法现实任务中往往会对学习器的泛化性能、时间开销、存储开销、可解释性等方面的因素进行评估并做出选择我们假设测试集是从样本真实分布中独立采样获得，将测试集上的“测试误差”作为泛化误差的近似，所以测试集要和训练集中的样本尽量互斥。评估方法 留出法：直接将数据集划分为两个互斥集合 训练/测试集划分要尽可能保持数据分布的一致性 一般若干次随机划分、重复实验取平均值 训练/测试样本比例通常为2:

3、14:1通常将包含个 样本的数据集拆分成训练集 和测试集 ：评估方法 交叉验证法：将数据集分层采样划分为k个大小相似的互斥子集，每次用k-1个子集的并集作为训练集，余下的子集作为测试集，最终返回k个测试结果的均值，k最常用的取值是10.评估方法与留出法类似，将数据集D划分为k个子集同样存在多种划分方式，为了减小因样本划分不同而引入的差别，k折交叉验证通常随机使用不同的划分重复p次，最终的评估结果是这p次k折交叉验证结果的均值，例如常见的“10次10折交叉验证”假设数据集D包含m个样本，若令 ，则得到留一法：l 不受随机样本划分方式的影响l 结果往往比较准确l 当数据集比较大时，计算开销难以忍受

4、评估方法 自助法：以自助采样法为基础，对数据集 有放回采样 次得到训练集 ,用做测试集。l 实际模型与预期模型都使用 个训练样本l 约有1/3的样本没在训练集中出现 l 从初始数据集中产生多个不同的训练集，对集成学习有很大的好处l 自助法在数据集较小、难以有效划分训练/测试集时很有用；由于改变了数据集分布可能引入估计偏差，在数据量足够时，留出法和交叉验证法更常用。大纲经验误差与过拟合评估方法性能度量比较检验偏差与方差阅读材料性能度量性能度量是衡量模型泛化能力的评价标准，反映了任务需求；使用不同的性能度量往往会导致不同的评判结果在预测任务中，给定样例集评估学习器的性能 也即把预测结果 和真实标记

5、比较.回归任务最常用的性能度量是“均方误差”：性能度量对于分类任务,错误率和精度是最常用的两种性能度量：l错误率：分错样本占样本总数的比例l精度：分对样本占样本总数的比率分类错误率精度性能度量信息检索、Web搜索等场景中经常需要衡量正例被预测出来的比率或者预测出来的正例中正确的比率，此时查准率和查全率比错误率和精度更适合。统计真实标记和预测结果的组合可以得到“混淆矩阵”查准率查全率性能度量根据学习器的预测结果按正例可能性大小对样例进行排序，并逐个把样本作为正例进行预测，则可以得到查准率-查全率曲线，简称“P-R曲线”平衡点是曲线上“查准率=查全率”时的取值，可用来用于度量P-R曲线有交叉的分类

6、器性能高低性能度量比P-R曲线平衡点更用常用的是F1度量：比F1更一般的形式 ,:标准F1:偏重查全率(逃犯信息检索)：偏重查准率(商品推荐系统)性能度量类似P-R曲线，根据学习器的预测结果对样例排序，并逐个作为正例进行预测，以“假正例率”为横轴，“真正例率”为纵轴可得到ROC曲线,全称“受试者工作特征”.ROC图的绘制：给定 个正例和 个负例，根据学习器预测结果对样例进行排序，将分类阈值设为每个样例的预测值，当前标记点坐标为 ,当前若为真正例，则对应标记点的坐标为 ;当前若为假正例，则对应标记点的坐标为 ,然后用线段连接相邻点.性能度量若某个学习器的ROC曲线被另一个学习器的曲线“包住”，则

7、后者性能优于前者；否则如果曲线交叉，可以根据ROC曲线下面积大小进行比较，也即AUC值.假设ROC曲线由的点按序连接而形成 ，则：AUC可估算为：AUC衡量了样本预测的排序质量。代价敏感错误率现实任务中不同类型的错误所造成的后果很可能不同，为了权衡不同类型错误所造成的不同损失，可为错误赋予“非均等代价”。以二分类为例，可根据领域知识设定“代价矩阵”，如下表所示，其中 表示将第i类样本预测为第j类样本的代价。损失程度越大，与 值的差别越大。在非均等代价下，不再最小化错误次数，而是最小化“总体代价”，则“代价敏感”错误率相应的为：代价曲线在非均等代价下，ROC曲线不能直接反映出学习器的期望总体代价

8、，而“代价曲线”可以。代价曲线的横轴是取值为0,1的正例概率代价纵轴是取值为0,1的归一化代价代价曲线代价曲线图的绘制：ROC曲线上每个点对应了代价曲线上的一条线段，设ROC曲线上点的坐标为(TPR,FPR),则可相应计算出FNR,然后在代价平面上绘制一条从(0,FPR)到(1,FNR)的线段，线段下的面积即表示了该条件下的期望总体代价；如此将ROC曲线上的每个点转化为代价平面上的一条线段，然后取所有线段的下界，围成的面积即为所有条件下学习器的期望总体代价。大纲经验误差与过拟合评估方法性能度量比较检验偏差与方差阅读材料性能评估关于性能比较：测试性能并不等于泛化性能 测试性能随着测试集的变化而变

9、化 很多机器学习算法本身有一定的随机性直接选取相应评估方法在相应度量下比大小的方法不可取！假设检验为学习器性能比较提供了重要依据，基于其结果我们可以推断出若在测试集上观察到学习器A比B好，则A的泛化性能是否在统计意义上优于B，以及这个结论的把握有多大。二项检验给定测试错误率 ,对上式求导，可知在 时，概率最大，这符合二项分布，如右图所示，若 ,则10个样本中3个被误分类的概率最大 记泛化错误率为 ，测试错误率为 意味着：m个样本中恰有 *m个被误分类，假定测试样本从样本总体分布中独立采样而来，对于泛化错误率为 的学习器恰 *m个样本误分类的概率如下：二项检验 在 的显著度下，假设 不能被拒绝,

10、也即能以 的置信度认为，模型的泛化错误率不大于考虑假设 ,在 的概率内所能观察到的最大错误率如下：反映了结论的置信度，如果此时测试结果 小于临界值 ,则根据二项检验可得出结论：t检验很多时候，我们并非仅做一次留出法估计,而是面对多次重复留出法或者交叉验证法进行多次训练/测试，这样会得到多个测试错误率，此时可使用“t检验”。t检验交叉验证t检验现实任务中，更多时候需要对不同学习器的性能进行比较对两个学习器A和B,若k折交叉验证得到的测试错误率分别为和 ，可用k折交叉验证“成对t检验”进行比较检验。若两个学习器的性能相同，则他们使用相同的训练/测试集得到的测试错误率应相同，即 .交叉验证t检验假设

11、检验的前提是测试错误率为泛化错误率的独立采样，然而由于样本有限，使用交叉验证导致训练集重叠，测试错误率并不独立，从而过高估计假设成立的概率，为缓解这一问题，可采用“5*2交叉验证”法.5*2交叉验证法所谓5*2折交叉验证就是做5次二折交叉验证，每次二折交叉验证之前将数据打乱，使得5次交叉验证中的数据划分不重复。为缓解测试数据错误率的非独立性，仅计算第一次2折交叉验证结果的平均值 和每次二折实验计算得到的方差 ,则变量服从自由度为5的t分布。McNemar检验对于二分类问题，留出法不仅可以估计出学习器A和B的测试错误率，还能获得两学习器分类结果的差别，如下表所示假设两学习器性能相同则 应服从正态

12、分布，且均值为1，方差为 ，则服从自由度为1的 分布。Friedman检验交叉验证t检验和McNemar检验都是在一个数据集上比较两个算法的性能，可以用Friedman检验在一组数据集上对多个算法进行比较。假定用 四个数据集对算法 进行比较。先使用留出法或者交叉验证法得到每个算法在每个数据集上的测试结果，然后在每个数据集上根据性能好坏排序，并赋序值1,2,;若算法性能相同则平分序值,继而得到每个算法的平均序值 .Friedman检验得到表格如下所示，由平均序值进行Friedman检验来判断这些算法是否性能都相同。则变量：服从自由度为k-1的 分布其中N，k表示数据集和算法数目Nemenyi后续

13、检验若“所有算法的性能相同”这个假设被拒绝，说明算法的性能显著不同，此时可用Nemenyi后续检验进一步区分算法。Nemenyi检验计算平均序值差别的临界阈值如果两个算法的平均序值之差超出了临界阈值CD，则以相应的置信度拒绝“两个算法性能相同”这一假设。Friedman检验图根据上例的序值结果可绘制如下Friedman检验图，横轴为平均序值，每个算法圆点为其平均序值，线段为临界阈值的大小。若两个算法有交叠(A和B)，则说明没有显著差别;否则有显著差别(A和C),算法A明显优于算法C.大纲经验误差与过拟合评估方法性能度量比较检验偏差与方差阅读材料偏差与方差通过实验可以估计学习算法的泛化性能，而“

14、偏差-方差分解”可以用来帮助解释泛化性能。偏差-方差分解试图对学习算法期望的泛华错误率进行拆解。对测试样本 ,令 为 在数据集中的标记，为 的真实标记，为训练集 上学得模型 在 上的预测输出。以回归任务为例：学习算法的期望预期为：使用样本数目相同的不同训练集产生的方差为噪声为偏差与方差期望输出与真实标记的差别称为偏差，即为便与讨论，假定噪声期望为0，也即 ,对泛化误差分解偏差与方差又由假设中噪声期望为0，可得于是：也即泛化误差可分解为偏差、方差与噪声之和。偏差与方差 偏差度量了学习算法期望预测与真实结果的偏离程度；即刻画了学习算法本身的拟合能力；方差度量了同样大小训练集的变动所导致的学习性能的

15、变化；即刻画了数据扰动所造成的影响；噪声表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界；即刻画了学习问题本身的难度。泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度所共同决定的。给定学习任务为了取得好的泛化性能，需要使偏差小(充分拟合数据)而且方差较小(减少数据扰动产生的影响)。偏差与方差一般来说，偏差与方差是有冲突的，称为偏差-方差窘境。如右图所示，假如我们能控制算法的训练程度：l 在训练不足时，学习器拟合能力不强，训练数据的扰动不足以使学习器的拟合能力产生显著变化，此时偏差主导泛化错误率；l 随着训练程度加深，学习器拟合能力逐渐增强，方差逐渐主导泛化错误率；l 训

16、练充足后，学习器的拟合能力非常强，训练数据的轻微扰动都会导致学习器的显著变化，若训练数据自身非全局特性被学到则会发生过拟合。大纲经验误差与过拟合评估方法性能度量比较检验偏差与方差阅读材料阅读材料 自助采样法在机器学习中有重要用途,Efron and Tibshirani,1993对此有详细讨论。ROC曲线在二十世纪八十年代后期被引入机器学习Spackman,1989,AUC则是从九十年代中期起在机器学习领域广为使用Bradley,1997.Hand and Till,2001将ROC曲线从二分类任务推广到多分类任务.Fawcett,2006综述了ROC曲线的用途.Drummond and Ho

17、lte,2006发明了代价曲线.代价敏感学习Elkan,2001;Zhou and Liu,2006专门研究非均等代价下的学习。阅读材料 Dietterich,1998指出了常规k折交叉验证法存在的风险,并提出了5*2折交叉验证法.Demsar,2006讨论了对多个算法进行比较检验的方法.Geman et al.,1992针对回归任务给出了偏差-方差-协方差分解，后来被简称为偏差-方差分解。但仅基于均方误差的回归任务中推导，对分类任务，由于0/1损失函数的跳变性,理论上推导出偏差-方差分解很困难。已有多种方法可通过试验队偏差和方差进行估计Kong and Dietterich,1995;Kohavi and Wolpert,1996;Breiman,1996;Friedman,1997;Domingos,2000.