第8章 adaboost.pptx
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《第8章 adaboost.pptx》由用户(淡淡的紫竹语嫣)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第8章 adaboost
- 资源描述:
-
1、第八章 Adaboost 提纲 AdaBoost的起源和基本概念 AdaBoost算法 前向分步训练算法 AdaBoost 编程 AdaBoost实时人脸检测算法 1984,Kearns和Valiant: 强可学习(strongly learnable)和弱可学习(weakly learnable) 在概率近似正确(probably approximately correct, PAC) 学习的框架中,一个概念(类),如果存在一个多项式的学 习算法能够学习它,并且正确率很高,称这个概念是强可学 习的; 一个概念(类),如果存在一个多项式的学习算法能够学习 它,学习的正确率仅比随机猜测略好,则称
2、这个概念是弱可 学习的。 1989, Schapire,证明: 在PAC学习的框架下,一个概念是强可学习的充分必要条件是 这个概念是弱可学习。 Adaboost的起源 问题的提出: 只要找到一个比随机猜测略好的弱学习算法就可以 直接将其提升为强学习算法,而不必直接去找很难 获得的强学习算法。 Adaboost的起源 例如:学习算法A在a情况下失效,学习算法B在b情况下 失效,那么在a情况下可以用B算法,在b情况下可以用A 算法解决。这说明通过某种合适的方式把各种算法组合 起来,可以提高准确率。 为实现弱学习互补,面临两个问题: (1)怎样获得不同的弱分类器? (2)怎样组合弱分类器? 怎样实现
3、弱学习转为强学习 使用不同的弱学习算法得到不同基本学习器 参数估计、非参数估计 使用相同的弱学习算法,但用不同的参数 K-Mean不同的K,神经网络不同的隐含层 相同输入对象的不同表示凸显事物不同的特征 使用不同的训练集 装袋(bagging) 提升(boosting) 怎样获得不同的弱分类器 也称为自举汇聚法(boostrap aggregating) 从原始数据集选择S次后得到S个新数据集 新数据集和原数据集的大小相等 每个数据集都是通过在原始数据集中随机选择样本来进 行替换而得到的。 S个数据集建好之后,将某个学习算法分别作用于每个 数据集就得到S个分类器。 选择分类器投票结果中最多的类
4、别作为最后的分类结果。 改进的Bagging算法,如随机森林等。 Bagging 多专家组合 一种并行结构,所有的弱分类器都给出各自的预测结果,通过 “组合器”把这些预测结果转换为最终结果。 eg.投票(voting) 及其变种、混合专家模型 多级组合 一种串行结构,其中下一个分类器只在前一个分类器预测不够准 (不够自信)的实例上进行训练或检测。 eg. 级联算法 (cascading) 怎样组合弱分类器怎样组合弱分类器 1990年,Schapire最先构造出一种多项式级的算法, 即最初的Boost算法; 1993年,Drunker和Schapire第一次将神经网络作为弱 学习器,应用Boos
5、ting算法解决OCR问题; 1995年,Freund和Schapire提出了Adaboost(Adaptive Boosting)算法,效率和原来Boosting算法一样,但是 不需要任何关于弱学习器性能的先验知识,可以非常 容易地应用到实际问题中。 Adaboost的提出 AdaBoost Adaptive A learning algorithm Building a strong classifier a lot of weaker ones Boosting Adaboost基本概念 1 1), 1(h x . . . Weak classifiers slightly better
6、 than random 1 ( )( ) T t tTt h xHxsign 2 1), 1(h x 1(), 1 T hx strong classifier Adaboost基本概念 两个问题如何解决: 每一轮如何改变训练数据的权值或概率分布? AdaBoost:提高那些被前一轮弱分类器错误分类样本的权值,降低那些 被正确分类样本的权值 如何将弱分类器组合成一个强分类器? AdaBoost:加权多数表决,加大分类误差率小的弱分类器的权值,使其 在表决中起较大的作用,减小分类误差率大的弱分类器的权值,使其在 表决中起较小的作用。 Adaboost基本概念 Adaboost基本概念 输入:二
7、分类的训练数据集 , 输出:最终分类器G(x) 1 初始化训练数据的起始权值分布 AdaBoost算法 2 对m个弱分类器 m=1,2,。M a、在权值Dm下训练数据集,得到弱分类器 b、计算Gm的训练误差 c、计算Gm的系数 d、更新训练数据集的权值分布 Z是规范化因子 AdaBoost算法 3、构建弱分类器的线性组合, 得到最终分类器: AdaBoost算法 步骤 b 步骤 c 步骤 d 误分类的样本权值放大 AdaBoost算法说明 初始化 对m=1 a、在权值分布为D1的数据集上,阈值取2.5,分类误差率最小,基本 弱分类器: b、G1(x)的误差率 : c、G1(x)的系数: 例子:
8、 d、更新训练数据的权值分布 弱基本分类器G1(x)=signf1(x)在更新的数据集上有3 个误分类点 例子: 对m=2 a、在权值分布D2上,阈值v=8.5时,分类误差率最低 b、误差率 c、计算 d、更新权值分布 分类器G2(x)=signf2(x)有三个误分类点 例子: 对m=3 a、在权值分布D3上,阈值v=5.5时,分类误差率最低 b、误差率 c、计算 d、更新权值分布 分类器G3(x)=signf3(x)误分类点为0 例子: Weak Classifier 1 Boosting illustration Weights Increased Boosting illustratio
9、n Weak Classifier 2 Boosting illustration Weights Increased Boosting illustration Weak Classifier 3 Boosting illustration Final classifier is a combination of weak classifiers Boosting illustration 由: 定理:AdaBoost算法最终分类器的训练误差界为: AdaBoost的训练误差分析 证明: 前面部分很明显, 证后面,由 AdaBoost的训练误差分析 定理:二分类问题AdaBoost的训练误差
展开阅读全文