深度学习介绍课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《深度学习介绍课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 深度 学习 介绍 课件
- 资源描述:
-
1、深度学习简介主要内容现状神经网络深度学习 介绍 常见模型Stacked Auto-EncoderConvolutional Neural NetworkDeep Belief Network杂项现状2006年7月,机器学习界的著名学者Geoffery Hinton 和他的学生Ruslan Salakhutdinov在Science上发表了一篇关于深层神经网络训练算法的文章,引起了深度学习在学术界和工业界的关注;2012年5月到10月,为了回应对于深度学习方法的质疑,也为了测试深度学习算法的真实效果,Geoffery Hinton和他的另外一个学生Alex Krizhevsky参加了ImageN
2、et大规模视觉识别竞赛,以大幅领先优势取得第一名;2012年6月,机器学习和人工智能的知名学者Andrew Ng等人与谷歌经过多年的合作,在语音识别与图像目标识别方面取得了突破性的进展;2012年11月,在二十一世纪计算大会上,微软首席研究官Rick Rashid展示了一套基于深层神经网络模型的语音识别系统,能实时流畅翻译,切显著地降低了错误率,这在语音识别领域是一个突破;2013年1月,百度创始人兼CEO李彦宏在年会上宣布将成立百度研究院;2013年7月,谷歌收购了深度学习初创公司DNNResearch Inc.,公司员工GeofferyHinton和他的两个学生Alex Krizhevsk
3、y,Ilya Sutskever 加入谷歌;现状2013年10月,雅虎收购图像识别公司LookFlow,正式加入深度学习研究队伍;2015到2016年,苹果收购人工智能研究公司VocalIQ,Percepti,Emotient,Turi等,强化Siri和摄像等应用上的优势;2015年11月,谷歌发布人工智能系统TensorFlow并宣布开放源代码;2016年5月,亚马逊发布了一个开源的使用GPU训练和部署深层神经网络开源工具DSSTNE;2016年8月,英特尔开发者大会上,英特尔宣布将于2017年推出专门为人工智能和深度学习而设计的最新一代CPUIntel Xeon Phi处理器,代号Knig
4、hts Mill,英特尔宣称其运算能力比对手NVIDIA的Kepler 系列GPU产品快两倍以上。2016年10月,NVIDIA 发布了新版本的通用并行计算架构库:统一计算设备架构(Compute Unified Device Architecture,CUDA)8.0,以及深度学习专用GPU 加速库:cuDNN 5.0;2016年11月,在2016全球超级计算机大会(SC16)上,AMD 宣布推出新版Radeon开放计算平台(Radeon Open Compute Platform,ROCm),以及用于GPU 加速器的免费开源库MIOpen。主要内容现状神经网络深度学习 介绍 常见模型Sta
5、cked Auto-EncoderConvolutional Neural NetworkDeep Belief Network杂项神经网络在机器学习与认知识别领域中,人工神经网络是一类模拟生物神经网络的模型,基于大量训练数据,用来预测(决策问题)或估计目标函数模型。人工神经网络一般呈现为相互关联的“神经元”之间相互交换信息的系统。在神经元的连接中包含有可以根据训练样本调整的权重,使得神经网络可以自适应输入样本,并且拥有学习能力。作为机器学习方法的一种,神经网络算法可以用来处理一系列传统机器方法无法处理,或者处理难度较大的问题,包括计算机视觉、语音识别等任务。基本结构神经网络的基本单元是神经元
6、。通过对所有输入进行加权求和,之后进行非线性映射得到该神经元的输出值。神经网络按照拓扑结构,大体分为层状与网状两大类。常用激活函数:ReLU函数 S型函数 双曲正切函数xexf11)(神经元模型神经网络输出:激活函数:神经网络BPBP网络前馈网络的逐层计算:输入值从输入层神经元通过加权连接逐层前向传播,经过隐含层,最后到达输出层得到输出。在信号的前向传播过程中,网络的权值是固定不变的,每一层神经元的状态只影响下一层神经元的状态。反向传播算法:网络的实际输出与期望输出之间的差值即为误差信号。误差信号由输出端开始逐层反向传播。在误差信号反向传播的过程中,网络的权值根据误差的梯度进行调节,通过权值的
7、不断修正使网络的实际输出更加接近期望输出。前馈网络结构说明代价函数 在遇到回归问题时,指定代价函数 以使目标变量的真实值和预测值的距离最小;代价函数描述了网络输出与真实值之间的误差;网络模型的训练过程即:通过随机梯度下降的方法最小化代价函数以提高网络精度;可以在代价函数中引入其他约束以满足设定要求。反向传播算法反向传播算法可表示为以下几个步骤:1.进行前馈传导计算,利用前向传导公式,得到 直到输出层 的激活值。2.对输出层(第 层),计算:3.对于 的各层,计算:4.计算最终需要的偏导数值:5.根据残差对参数W和b做出更新:反向传播与梯度下降BP算法流程S型函数导数主要问题主要问题 训练过程易
8、陷入局部极小值,从而得不到全局最优解;计算量大,训练次数多,使得学习效率低,收敛速度慢;对于隐含层个数和隐含层神经元节点的个数选择,至今还没有一个具体的定论,缺乏理论指导;训练时,学习新样本有遗忘旧样本的趋势常用改进方法 添加动量项,Dropout等规则化算法等;采用改进的梯度下降法,使用硬件辅助计算;RNN,LSTM等改进模型和神经元。主要内容现状神经网络深度学习 介绍 常见模型Stacked Auto-EncoderConvolutional Neural NetworkDeep Belief Network杂项深度学习深度学习的基础架构来自于前馈神经网络和BP算法,构造多层网络,通过最小
9、化代价函数的方法来提高分类精度。对于传统的ANN网络而言,由于多层网络训练的困难,实际使用的多数是只含有一层隐层节点的浅层模型。深度学习更侧重于如何通过增加网络的深度,来减小每层需要拟合的特征个数,来提取出数据(尤其是语音与图像数据)的高层特征信息,从而达到更好的测试性能与分类精度。深度学习对输入数据逐级提取从底层到高层的特征,从而能更好地建立从底层信号到高层语义的复杂映射关系。传统的机器学习方法,在训练数据量到达一定规模后,算法的学习能力就饱和了,而深度学习目前还看不到瓶颈。深度学习浅层模型深层模型隐含层数1-25层以上表达能力有限更强特征提取方式人工设计或自动学习自动学习代价函数存在凸代价
10、函数,可以收敛到全局最优解非凸代价函数,存在大量局部最优点。(实际情况是容易收敛到非常好的点)训练难度低高理论基础成熟不完善,需要根据实验结果调整模型先验知识和工程经验非常依赖较少依赖训练样本数量多非常多使用场景数据包含简单特征数据包含复杂、多层、抽象特征深度学习深度学习的实质,是通过构建包含很多隐含层的神经网络模型,以更少的单层参数与更深的网络结构,通过海量训练数据,来学习特征的多层抽象表示,从而最终提升分类或预测的准确性。所以,“深度模型”是手段,“特征学习”是目的。区别于传统的浅层学习,深度学习的不同在于:)强调了模型结构的深度,通常有5层以上、甚至100多层的隐含层;)明确突出了特征学
11、习的重要性,通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间,使得分类或预测更加容易。深层带来的好处为什么采用层次网络预训练与梯度消失现象神经网络层数加深以后,容易出现梯度消失现象;由于前层的梯度是由后层的梯度项相乘得到,梯度会逐层衰减,从而导致后层的网络学习率超过前层,BP算法收敛缓慢。当神经网络有很多层时,就会面临不稳定的情况。对网络的预训练可以较好地避免这种现象。这是因为:实验表明,在非凸优化问题上初始点的选择十分重要;无监督学习增加了深层结构的鲁棒性;对神经网络进行不同的预训练能够使网络学习到数据的不同的高质量特征;单纯增加一个网络的深度,如果不进行预训练处理,会提高陷于
12、局部极小点的可能性。主要内容现状神经网络深度学习 介绍 常见模型Stacked Auto-EncoderConvolutional Neural NetworkDeep Belief Network杂项自编码器结构单层自动编码器网络(AutoEncoder)实质上是一个三层的反向传播神经网络。它逐层采用无监督学习的方式,不使用标签调整权值,将输入映射到隐含层上,再经过反变换映射到输出上,实现输入输出的近似等价。自动编码器的主要思想是利用无监督无监督方式最小化重建误差,学习到的权重提供了一个网络初始化的较好的初始点。无监督学习的主要目的是从无标签的数据中提取有用的特征,以减少输入信息,保留数据中
13、关键的有效信息。网络通过没有标签的数据学习到潜在的分布信息,有利于它区分有标签的信息。然而,在网络中,权重仍然需要进行微调。因此,需要在神经网络的顶部增加一个线性回归,再对有标签的数据进行处理。网络的微调会采用梯度下降法,对所有层同时进行调整。自编码器的建立建立AutoEncoder的方法是:对于m个数据的输入,有:Code编码:使用非线性激活函数,将维输入数据映射到维隐含层(隐含节点表示特征)其中W是一个的权重矩阵,b是一个d维的偏移向量 Decode解码:通过反向映射,对映射后的数据进行重建SAE网络每一次训练输入都会得到映射后的 与解码后的 。通过对代价函数的最优化可以得到训练集上的权重
展开阅读全文