机器学习第2章-模型评估与选择.pptx

1、第2章模型评估与选择1 主要内容 经验误差与过拟合 评估方法 性能度量 比较检验 偏差与方差22024-11-5误差 误差（error）：学习器实际预测输出与样本真实输出之间的差异 训练集：训练误差（training error），（经验误差，empirical error）训练集的补集：泛化误差（generalization error）我们希望泛化误差小的学习器32024-11-5过拟合 过拟合（overfitting）：训练过度使泛化能力下降 欠拟合（underfitting）：未能学好训练样本的普遍规律 过拟合是机器学习的关键障碍且不可避免！模型误差包含了数据误差，或者说模型信息中包含

2、了噪声。42024-11-5学习器泛化评估实验测试52024-11-5测试方法测试方法数学表达数学表达注意事项注意事项优缺点优缺点留出法（hold-out）分层采样（stratified sampling）重复试验取平均评估结果测试集小，评估结果方差较大训练集小，评估结果偏差较大交叉验证法（cross validation）留一法（Leave-One-Out，LOO）每次使用一个样本验证不受随机样本划分方式影响数据量大时计算量大自助法（bootstrapping）可重复采样/有放回采样数据集较小有用改变初始数据集的分布，引入偏差62024-11-5调参与最终模型72024-11-5性能度量82024-11-5任务需求以二分类为例92024-11-5多混淆矩阵102024-11-5ROC与AUC112024-11-5代价敏感错误率与代价曲线122024-11-5比较检验132024-11-5单个学习器142024-11-5一个数据集多个学习器152024-11-5多个数据集和多个学习器162024-11-5偏差与方差172024-11-5 谢谢！182024-11-5