第9章-EM算法-(《统计学习方法》课件).pptx
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《第9章-EM算法-(《统计学习方法》课件).pptx》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 统计学习方法 EM 算法 统计 学习方法 课件
- 资源描述:
-
1、第九章EM期望极大算法问题提出问题提出 绿地、水体、道路、裸地、居民建筑用地等;采用的遥感影像是Quickbird 数据,图像大小为317行x315列,空间分辨率为2.44m,4个波段(蓝光波段、绿光波段、红光波段和近红外波段)。问题提出问题提出 100个男、女身高,分布?男多少?女多少?采用混合高斯模型,假设男和女的分布都是符合高斯分布的,然后给定这个高斯分布一个初始值,这样这个高斯分布就是已知的。用这个已知的高斯分布来估计男的多少人,女的多少人,假设男和女的类别分布为Q(z),可以求Q(z)的期望,用期望来表示下一次迭代类别的初始值,就知道男和女的所属类别,可用最大似然函数来估新的高斯模型
2、的参数,重复上述步骤直到收敛!三硬币模型 三硬币模型:硬币A、B、C,正面概率,p,q,A正面时选B,反面选C,得到结果:1101001011 问题:只能看结果,不能看中间过程,估算,p,q,解:模型 随机变量Y是观测变量,表示一次试验观测的结果是1或0,随机变量z是隐变量,表示未观测到的掷硬币A的结果,这一模型是以上数据的生成模型。三硬币模型 观测数据:未观测数据:似然函数:即:极大似然估计:该问题没有解析解,EM迭代法:EM方法 选取初值:第i步的估计值:EM算法第i+1次迭代:E步:计算在模型参数 下观测数据yi来自掷硬币B的概率:M步:计算模型参数的新估计值EM方法初值:利用迭代公式,
3、得:继续迭代,得:得到模型参数的极大似然估计:EM方法如果取初值:完全数据 complete-data不完全数据 incomplete-dataEM方法输入:观测变量数据Y,隐变量数据Z,联合分布P(Y,Z|)条件分布P(Z|Y,)输出:模型参数 给定观测数据Y和当前参数估计 EM方法Q函数定义:完全数据的对数似然函数logP(Y,Z|)关于在给定观测数据Y和当前函数(i)下对未观测数据Z的条件概率分布P(Z|Y,(i),的期望称为Q函数,即:EM方法 算法说明:步骤3,完成一次迭代:(i)到(i+1),将证明每次迭代使似然函数增大或达到局部最大值。步骤4,停止迭代的条件 或EM算法的导出 为
4、什么EM算法能近似实现对观测数据的极大似然估计?极大化(不完全数据)Y关于参数的极大似然函数:难点:有未观测数据,包含和的对数。EM通过迭代逐步近似极大化L(),希望EM算法的导出 考虑二者的差:Jason不等式:EM算法的导出 令:则:选择:EM算法的导出 省去和无关的项:EM算法的解释L()开始EM在非监督学习中的应用 生成模型由联合概率分布P(X,Y)表示,可以认为非监督学习训练数据是联合概率分布产生的数据,X为观测数据,Y为未观测数据。EM算法的收敛性 EM,提供一种近似计算含有隐变量概率模型的极大似然估计的方法,EM,最大优点:简单性和普适性;疑问:1、EM算法得到的估计序列是否收敛
展开阅读全文