深度学习-循环神经网络课件.pptx
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《深度学习-循环神经网络课件.pptx》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 深度 学习 循环 神经网络 课件
- 资源描述:
-
1、深度学习之循环神经网络陈鹏1 目录1:深度学习发展史2:从神经网络到深度学习3:循环神经网络基础4:自然语言处理基础(扩充知识)21:深度学习发展史3深度学习发展史SVMBoostingDecision treeKNNNeural networkBack propagation19862006Deep belief netScienceSpeech2011 2012Computer visionNLPSpeech 2014Geoffrey Hinton 1949Learning model of neurons1958PerceptronHebbRosenblattGeoffrey Hinto
2、n DBNCNNRBMRNN机器学习第一次浪潮:机器学习第二次浪潮浅层学习模型(Shallow Learning)深度学习模型(Deep Learning)First Winter of NNSecond Winter of NN4深度学习(多层神经网络)神经网络神经元5synapse dendriteCell bodySynapticterminalsAxon轴突末梢 突触 树突细胞体轴突w1x1xn线性动态系统激励函数own神经元是构成神经网络的最基本单元(构件),因此,首要任务是构造人工神经元模型。细胞体Cell body树突dendrite突触synapse轴突Axon来自其它神经元神
3、经元模型6yyaxo x2x1xnw1w2wnNNxwxwu11uifuifay0w1x1xn激励函数o=f(net)wnnet=WTX)(TnetfoxwXWnetii 典型的激励函数(Activation Function):线性函数,非线性斜面函数,阶跃函数,S型函数等。神经元模型7Input LayerHidden LayerOutput Layerx1xMh1hLo1oNw11wm1wM1wmLwMLw1Lv11vl1vL1vLNmmlThhxwXWnetll)(lhlnetfh llnToohvHVnetnn)(nonnetfo 神经网络一般形式 Nonlinearity 非线性
4、Parallel Processing 并行处理 InputOutput Mapping 输入输出匹配 Adaptivity 自适应性ocx2x1xnw1w2wnckfonet)net(NNwxwx11net8最简单的神经网络:Perceptrons9Single Layer Perceptronsybx2x1xMw1w2wMbxwsignufyii)(0101uifuifyRosenblatt,19570101)(2211uifuifbxwxwufu0u sequence of wordse.g.Sentiment Classificationsequence of words-sentim
5、ente.g.Machine Translationseq of words-seq of wordse.g.Video classification on frame levelRecurrent Neural Network28典型应用:典型应用:图像标注Recurrent Neural Network29典型应用:语言生成典型应用:语言生成Recurrent Neural Network30典型应用:音乐作曲典型应用:音乐作曲循环神经网络模型循环神经网络模型31激活函数激活函数lRNN常用的激活函数是tanh和sigmoid。循环神经网络模型循环神经网络模型32softmaxlSoftm
6、ax函数是sigmoid函数的一个变种,通常我们将其用在多分类任务的输出层,将输入转化成标签的概率。本质就是将一个K维的任意实数向量压缩(映射)成另一个K维的实数向量,其中向量中的每个元素取值都介于(0,1)之间。循环神经网络模型循环神经网络模型33简单循环网络简单循环网络SRN神经元之间的连接权重连接权重在时域上不变不变。循环神经网络模型循环神经网络模型34随时间反向传播算法随时间反向传播算法BPTTBPBP回顾回顾:定义损失函数 E E 来表示输出 和真实标签y y的误差,通过链式法则自顶向下求得 E E 对网络权重的偏导偏导。沿梯度的反方向更新权重的值,直到 E E 收敛。BPTT的本质
展开阅读全文