神经网络基础课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《神经网络基础课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 神经网络 基础 课件
- 资源描述:
-
1、2.2 连接主义方法连接主义方法 Parallel Distributed Processing(PDP)Parallel Distributed Processing(PDP)主张主张智能出现于简单的通过相互连接作用的单元构成的系统中,且系统通过学习可以调整神经元之间的连接表达表达输入参数的建立输出结果的解释实现实现训练 网络学习的过程输输入入输输出出单元单元连接连接 适用的任务适用的任务 分类:分类:判定输入数值属于哪一类 模式识别模式识别:辨识数据中的结构或模式 联想记忆联想记忆:基于内容的记忆唤醒 预测预测:根据输入值,通过推理给出结果 优化优化:约束下的“最佳”状态John Von
2、Neuman(19031957)美籍匈美籍匈牙利人数学家,对人牙利人数学家,对人工智能的贡献:工智能的贡献:细胞自动机细胞自动机 celluar automata 神经计算 neurally inspired approaches to computationDonald Olding Hebb19041985,加拿大加拿大心理学家心理学家,对人工智,对人工智能的贡献:能的贡献:细胞集合细胞集合 Cell assembly赫布律赫布律Hebbian Rule 脊椎动物神经元结构脊椎动物神经元结构树突树突树突树突突触突触突触突触胞体胞体胞体胞体轴突轴突神经细胞工作状态神经细胞工作状态毫秒毫秒 k
3、1 k2 kp(.)x1x2xpuk输出输出yk k激活函数激活函数输入输入基本神经元模型基本神经元模型组成三要素:组成三要素:连接、求和、激活函数连接、求和、激活函数数学表达式:数学表达式:激活函数的类型:激活函数的类型:阈值函数阈值函数:分段线性函数分段线性函数:pjjkjkxu0)(kkkuykkkkkkuuu,0,1)(11,01,2)1(1,1)(kkkkkkkkkkkuuuuu激活函数激活函数Sigmoid函数:函数:)(exp(11)(kkkkkuu连续可导 有向图表示神经网络有向图表示神经网络Niiixw0 x0=-1x1x2xpykw1w2wnw0输输入入权权重重Niiixw
4、f0)(激活函数激活函数 有向图表示神经元有向图表示神经元 相关概念相关概念网络拓扑:网络拓扑:独立神经独立神经元之间的元之间的连接模式连接模式学习算法:学习算法:网络训练网络训练方法方法编码系统:编码系统:输入数据输入数据和输出结和输出结果的解释果的解释MP模型(模型(McCulloch-Pitts Neuron)yAND0,10,1)sgn(222vvvyxv1iiixwT真值表真值表x1 x2 y-1 -1 -1 1 -1 -1-1 1 -1 1 1 1yAND=x1 x2w0=-2x1x2w1=1w2=1x0=1yOR0,10,1)sgn(112vvvyxv1iiixwT 真值表真值表
5、x1 x2 y-1 -1 -1 1 -1 1-1 1 1 1 1 1yOR=x1 x2w0=-1x1x2w1=1w2=1x0=1输入节点输入节点输入层 隐层 输出层 前馈网络前馈网络输出节点输出节点 计算单元计算单元 输入单元输入单元输入节点输入节点输出节点输出节点反馈网络反馈网络环境环境教师教师学习学习系统系统误差信号误差信号-+环境状态信号环境状态信号期望响应期望响应实际响应实际响应环境环境学习学习系统系统环境状态环境状态环境环境学习学习系统系统评价评价输出输出作用作用状态状态输入输入0,10,1)sgn(112vvvyxv1iiixwTw0=-1x1x2w1=1w2=1x0=1yiiii
6、xxwsigndcw)(e=0,wi=0e0,wi 0e0,wi 0学习过程:通过权重学习过程:通过权重调节,使得网络输出调节,使得网络输出平均误差最小化平均误差最小化e=d-yiiiiiicxwecxweexwsignd2,02,02,0,2 1,1)(,1,1 e=d-yiiiiiiiiiixwwxxwwxxwxwxw,0,0,0,02211e=d-yiiiiiiiiiixwwxxwwxxwxwxw,0,0,0,02211T1)(n)(n),.,x(n),x,xnn21xT1)(n)(n),.,(n),nn21w)()(sgn()y(nnnxwTx(n)y(n)-d(n)w(n)1)w(n
7、X1(n)x0=1 1 0Od0d=1d=-1133x)(12-4x)(10.5-2x)(x(n)x(n)(n)sgn(wd(n)21w(n)T75.1,5.2)0(w111x)(2.751.5-1175152w(1)w(0)w(2)1111221w(1)2O(1)-d(1)11175152sgn1O.,.)(1.751-1-0.575251w(2)w(2)w(3)1-0.510.5-221w(2)2O(1)-d(1)110.5-75251sgn2O.,.)(0,1012.752131.751-w(3)w(3)w(4)1313221w(3)2O(3)-d(3)1131,1.75sgnO(3)2
8、.752w(4)w0012-021w(4)0O(4)-d(4)112-75.2,2sgn)4(O0d=1d=-1sigmoid函数:函数:)exp(11)(00NiiiNiiiiixwxwfowiEwi wi 梯度下降学习梯度下降学习要求函数连续可导要求函数连续可导jiijiiiijxxwoodcw)()(2)(21iiiodE)()(21(2iiiiiiiodoodoEkiiikiikwoodwooEwE)(kiiikiiiiixxwfwoxwfo)()(kiiiiikxxwfodwE)()(kiiiiikxxwfodcw)()()()()(nyndnekkkkkneEJ)(212kknen
9、)(21)(2j单元误差信号:单元误差信号:设设j单元平方误差:单元平方误差:y0=-1yk(n)ik(n)i(n)()yi(n)ji(n)j(n)()yj(n)-1dj(n)ej(n)()()(nyndnejjj)(212nej输出端总平方误差:输出端总平方误差:c c包括所有输出单元包括所有输出单元设训练集样本总数为设训练集样本总数为N N,平方误差均值:,平方误差均值:目标函数目标函数E EAVAVBPBP算法推导:算法推导:对于节点对于节点j j)(21)(2nenEjcj)(11nENENnAV)()()()()(0nvnynynnvjjjiPijij连接连接权重变化权重变化引起的均
10、方误差变化率,即:引起的均方误差变化率,即:权值修正量:权值修正量:局部梯度局部梯度)()()()()()1()()()()()()()()()()()(nynvnenynvnennvnvnynynenenEnnEijjjijjjjijjjjjjji)()()()()()()()(nynnynvnennEnijijjjjiji j为输出单元为输出单元:i为隐元为隐元:j为输出单元:为输出单元:)()()()(nvnyndnjjj)()()()(nvnynEnjjjcjjnenE)(21)(2jijjjjjijjinynvnvnenenynenenynE)()()()()()()()()()()
11、()()()()()()()()(nynnvnvnvnenyndneiqijijjjjjjjyj(n)dj(n)ej(n)yi(n)yk(n)()()()()(0nvnynynnvjjjiPijij两种网络训练方式两种网络训练方式 每个样本修改一次权值每个样本修改一次权值 所有样本依次输入后,计算平均误差所有样本依次输入后,计算平均误差,根根 据平均误差修改权值据平均误差修改权值)()()()()()()()()()(nnnnvnenynEnnynvjijjijjjjijiij)()()()(nnnvnjijiii)()()(nynnikiikyj(n)dj(n)ej(n)yi(n)yk(n)
12、j(n)ik(n)训练周期:全部样本输入一次称为一个训练周期训练周期:全部样本输入一次称为一个训练周期终止条件:网络以周期为单位进行训练,直到误差终止条件:网络以周期为单位进行训练,直到误差 函数达到最小或小于一个给定值函数达到最小或小于一个给定值)()()()1(0)()(nynnvliTiljilj)(1)()()()(exp(1 1)(exp(11)(exp(1 11)(exp()(exp(1)(exp()()()()(exp(11)()()(2)()(2)()(2)()(2)()()()()()(nynynynynvnvnvnvnvnvnvnynvnvnyljljljljljljljl
13、jljljljljjljlj)()()0(nxnyjj)()()(nOnyjLj)(1)()()()()(nOnOnenjjLjLjklkjlkljljljljnnnynynen)()()(1)()()()1()1()()()()()()()()1(1)()()(nynnnljljljiljiXORXOR的一个简单网络解的一个简单网络解x1x2y3yx1x3-x2x1 x2 x3 y0 0 0 01 0 0 10 1 0 11 1 1 0 x0 30 31 32 41 43 42y0 4014001400训练周期,结果:训练周期,结果:30=2.6 40=7.0 43=-11.0 31=-7.
14、0 41=-5.0 32=-7.0 42=-4.0 x1 x2 x3 y0 0 f3(0-7.0+0-7.0+12.6)f4(0-5.0+0-4.0+1-11.0+1 7.0)=01 0 f3(1-7.0+0-7.0+12.6)f4(1-5.0+0-4.0+1-11.0+1 7.0)=10 1 f3(0-7.0+1-7.0+12.6)f4(0-5.0+1-4.0+1-11.0+1 7.0)=11 1 f3(1-7.0+1-7.0+12.6)f4(1-5.0+1-4.0+0-11.0+1 7.0)=0竞争学习竞争学习 赢者通吃赢者通吃 Winner-Take-All 无监督学习无监督学习 赢者:
15、最大激活测试赢者:最大激活测试 x1x1xjxmABNwinner)1()1()(nWnXcnW赢者通吃学习规则赢者通吃学习规则 Kohonen Learning RuleiiiiWXWXWXWX2)(|22x11.09.42.58.00.57.97.02.81.27.8x11.06.42.17.72.28.47.00.83.06.1O1-11-11-1-111-1K网学习网学习 Kohonen net Learning已知:数据表已知:数据表 求:求:K网无监督分类网无监督分类 1 2 3 4 5 6 7 8 9 10 8 7 6 5 4 3 2 1 1 2 3 4 5 6 7 8 9 10
16、 8 7 6 5 4 3 2 1 11 12 21 22x1x2o1o2初始化:初始化:A:W=11,12=7,2 B:W=21,22=2,9K K网:自组织网络网:自组织网络 无监督学习无监督学习 AB|X(n)-W(n)|W(n+1)=W(n)+(X(n)-W(n)竞争学习规则竞争学习规则 与与X X接近的节点,接近的节点,W W调整,使得更接近调整,使得更接近X X 其他节点,其他节点,W W不变不变|(x1,x2)-(11,12)|1 2 3 4 5 6 7 8 9 10 8 7 6 5 4 3 2 1|(1,1)-(7,2)|=(1-7)2+(1-2)2=37|(1,1)-(2,9)
展开阅读全文