书签 分享 收藏 举报 版权申诉 / 63
上传文档赚钱

类型神经网络基础课件.ppt

  • 上传人(卖家):晟晟文业
  • 文档编号:4235153
  • 上传时间:2022-11-22
  • 格式:PPT
  • 页数:63
  • 大小:736.71KB
  • 【下载声明】
    1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
    2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
    3. 本页资料《神经网络基础课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
    4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
    5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
    配套讲稿:

    如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。

    特殊限制:

    部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。

    关 键  词:
    神经网络 基础 课件
    资源描述:

    1、2.2 连接主义方法连接主义方法 Parallel Distributed Processing(PDP)Parallel Distributed Processing(PDP)主张主张智能出现于简单的通过相互连接作用的单元构成的系统中,且系统通过学习可以调整神经元之间的连接表达表达输入参数的建立输出结果的解释实现实现训练 网络学习的过程输输入入输输出出单元单元连接连接 适用的任务适用的任务 分类:分类:判定输入数值属于哪一类 模式识别模式识别:辨识数据中的结构或模式 联想记忆联想记忆:基于内容的记忆唤醒 预测预测:根据输入值,通过推理给出结果 优化优化:约束下的“最佳”状态John Von

    2、Neuman(19031957)美籍匈美籍匈牙利人数学家,对人牙利人数学家,对人工智能的贡献:工智能的贡献:细胞自动机细胞自动机 celluar automata 神经计算 neurally inspired approaches to computationDonald Olding Hebb19041985,加拿大加拿大心理学家心理学家,对人工智,对人工智能的贡献:能的贡献:细胞集合细胞集合 Cell assembly赫布律赫布律Hebbian Rule 脊椎动物神经元结构脊椎动物神经元结构树突树突树突树突突触突触突触突触胞体胞体胞体胞体轴突轴突神经细胞工作状态神经细胞工作状态毫秒毫秒 k

    3、1 k2 kp(.)x1x2xpuk输出输出yk k激活函数激活函数输入输入基本神经元模型基本神经元模型组成三要素:组成三要素:连接、求和、激活函数连接、求和、激活函数数学表达式:数学表达式:激活函数的类型:激活函数的类型:阈值函数阈值函数:分段线性函数分段线性函数:pjjkjkxu0)(kkkuykkkkkkuuu,0,1)(11,01,2)1(1,1)(kkkkkkkkkkkuuuuu激活函数激活函数Sigmoid函数:函数:)(exp(11)(kkkkkuu连续可导 有向图表示神经网络有向图表示神经网络Niiixw0 x0=-1x1x2xpykw1w2wnw0输输入入权权重重Niiixw

    4、f0)(激活函数激活函数 有向图表示神经元有向图表示神经元 相关概念相关概念网络拓扑:网络拓扑:独立神经独立神经元之间的元之间的连接模式连接模式学习算法:学习算法:网络训练网络训练方法方法编码系统:编码系统:输入数据输入数据和输出结和输出结果的解释果的解释MP模型(模型(McCulloch-Pitts Neuron)yAND0,10,1)sgn(222vvvyxv1iiixwT真值表真值表x1 x2 y-1 -1 -1 1 -1 -1-1 1 -1 1 1 1yAND=x1 x2w0=-2x1x2w1=1w2=1x0=1yOR0,10,1)sgn(112vvvyxv1iiixwT 真值表真值表

    5、x1 x2 y-1 -1 -1 1 -1 1-1 1 1 1 1 1yOR=x1 x2w0=-1x1x2w1=1w2=1x0=1输入节点输入节点输入层 隐层 输出层 前馈网络前馈网络输出节点输出节点 计算单元计算单元 输入单元输入单元输入节点输入节点输出节点输出节点反馈网络反馈网络环境环境教师教师学习学习系统系统误差信号误差信号-+环境状态信号环境状态信号期望响应期望响应实际响应实际响应环境环境学习学习系统系统环境状态环境状态环境环境学习学习系统系统评价评价输出输出作用作用状态状态输入输入0,10,1)sgn(112vvvyxv1iiixwTw0=-1x1x2w1=1w2=1x0=1yiiii

    6、xxwsigndcw)(e=0,wi=0e0,wi 0e0,wi 0学习过程:通过权重学习过程:通过权重调节,使得网络输出调节,使得网络输出平均误差最小化平均误差最小化e=d-yiiiiiicxwecxweexwsignd2,02,02,0,2 1,1)(,1,1 e=d-yiiiiiiiiiixwwxxwwxxwxwxw,0,0,0,02211e=d-yiiiiiiiiiixwwxxwwxxwxwxw,0,0,0,02211T1)(n)(n),.,x(n),x,xnn21xT1)(n)(n),.,(n),nn21w)()(sgn()y(nnnxwTx(n)y(n)-d(n)w(n)1)w(n

    7、X1(n)x0=1 1 0Od0d=1d=-1133x)(12-4x)(10.5-2x)(x(n)x(n)(n)sgn(wd(n)21w(n)T75.1,5.2)0(w111x)(2.751.5-1175152w(1)w(0)w(2)1111221w(1)2O(1)-d(1)11175152sgn1O.,.)(1.751-1-0.575251w(2)w(2)w(3)1-0.510.5-221w(2)2O(1)-d(1)110.5-75251sgn2O.,.)(0,1012.752131.751-w(3)w(3)w(4)1313221w(3)2O(3)-d(3)1131,1.75sgnO(3)2

    8、.752w(4)w0012-021w(4)0O(4)-d(4)112-75.2,2sgn)4(O0d=1d=-1sigmoid函数:函数:)exp(11)(00NiiiNiiiiixwxwfowiEwi wi 梯度下降学习梯度下降学习要求函数连续可导要求函数连续可导jiijiiiijxxwoodcw)()(2)(21iiiodE)()(21(2iiiiiiiodoodoEkiiikiikwoodwooEwE)(kiiikiiiiixxwfwoxwfo)()(kiiiiikxxwfodwE)()(kiiiiikxxwfodcw)()()()()(nyndnekkkkkneEJ)(212kknen

    9、)(21)(2j单元误差信号:单元误差信号:设设j单元平方误差:单元平方误差:y0=-1yk(n)ik(n)i(n)()yi(n)ji(n)j(n)()yj(n)-1dj(n)ej(n)()()(nyndnejjj)(212nej输出端总平方误差:输出端总平方误差:c c包括所有输出单元包括所有输出单元设训练集样本总数为设训练集样本总数为N N,平方误差均值:,平方误差均值:目标函数目标函数E EAVAVBPBP算法推导:算法推导:对于节点对于节点j j)(21)(2nenEjcj)(11nENENnAV)()()()()(0nvnynynnvjjjiPijij连接连接权重变化权重变化引起的均

    10、方误差变化率,即:引起的均方误差变化率,即:权值修正量:权值修正量:局部梯度局部梯度)()()()()()1()()()()()()()()()()()(nynvnenynvnennvnvnynynenenEnnEijjjijjjjijjjjjjji)()()()()()()()(nynnynvnennEnijijjjjiji j为输出单元为输出单元:i为隐元为隐元:j为输出单元:为输出单元:)()()()(nvnyndnjjj)()()()(nvnynEnjjjcjjnenE)(21)(2jijjjjjijjinynvnvnenenynenenynE)()()()()()()()()()()

    11、()()()()()()()()(nynnvnvnvnenyndneiqijijjjjjjjyj(n)dj(n)ej(n)yi(n)yk(n)()()()()(0nvnynynnvjjjiPijij两种网络训练方式两种网络训练方式 每个样本修改一次权值每个样本修改一次权值 所有样本依次输入后,计算平均误差所有样本依次输入后,计算平均误差,根根 据平均误差修改权值据平均误差修改权值)()()()()()()()()()(nnnnvnenynEnnynvjijjijjjjijiij)()()()(nnnvnjijiii)()()(nynnikiikyj(n)dj(n)ej(n)yi(n)yk(n)

    12、j(n)ik(n)训练周期:全部样本输入一次称为一个训练周期训练周期:全部样本输入一次称为一个训练周期终止条件:网络以周期为单位进行训练,直到误差终止条件:网络以周期为单位进行训练,直到误差 函数达到最小或小于一个给定值函数达到最小或小于一个给定值)()()()1(0)()(nynnvliTiljilj)(1)()()()(exp(1 1)(exp(11)(exp(1 11)(exp()(exp(1)(exp()()()()(exp(11)()()(2)()(2)()(2)()(2)()()()()()(nynynynynvnvnvnvnvnvnvnynvnvnyljljljljljljljl

    13、jljljljljjljlj)()()0(nxnyjj)()()(nOnyjLj)(1)()()()()(nOnOnenjjLjLjklkjlkljljljljnnnynynen)()()(1)()()()1()1()()()()()()()()1(1)()()(nynnnljljljiljiXORXOR的一个简单网络解的一个简单网络解x1x2y3yx1x3-x2x1 x2 x3 y0 0 0 01 0 0 10 1 0 11 1 1 0 x0 30 31 32 41 43 42y0 4014001400训练周期,结果:训练周期,结果:30=2.6 40=7.0 43=-11.0 31=-7.

    14、0 41=-5.0 32=-7.0 42=-4.0 x1 x2 x3 y0 0 f3(0-7.0+0-7.0+12.6)f4(0-5.0+0-4.0+1-11.0+1 7.0)=01 0 f3(1-7.0+0-7.0+12.6)f4(1-5.0+0-4.0+1-11.0+1 7.0)=10 1 f3(0-7.0+1-7.0+12.6)f4(0-5.0+1-4.0+1-11.0+1 7.0)=11 1 f3(1-7.0+1-7.0+12.6)f4(1-5.0+1-4.0+0-11.0+1 7.0)=0竞争学习竞争学习 赢者通吃赢者通吃 Winner-Take-All 无监督学习无监督学习 赢者:

    15、最大激活测试赢者:最大激活测试 x1x1xjxmABNwinner)1()1()(nWnXcnW赢者通吃学习规则赢者通吃学习规则 Kohonen Learning RuleiiiiWXWXWXWX2)(|22x11.09.42.58.00.57.97.02.81.27.8x11.06.42.17.72.28.47.00.83.06.1O1-11-11-1-111-1K网学习网学习 Kohonen net Learning已知:数据表已知:数据表 求:求:K网无监督分类网无监督分类 1 2 3 4 5 6 7 8 9 10 8 7 6 5 4 3 2 1 1 2 3 4 5 6 7 8 9 10

    16、 8 7 6 5 4 3 2 1 11 12 21 22x1x2o1o2初始化:初始化:A:W=11,12=7,2 B:W=21,22=2,9K K网:自组织网络网:自组织网络 无监督学习无监督学习 AB|X(n)-W(n)|W(n+1)=W(n)+(X(n)-W(n)竞争学习规则竞争学习规则 与与X X接近的节点,接近的节点,W W调整,使得更接近调整,使得更接近X X 其他节点,其他节点,W W不变不变|(x1,x2)-(11,12)|1 2 3 4 5 6 7 8 9 10 8 7 6 5 4 3 2 1|(1,1)-(7,2)|=(1-7)2+(1-2)2=37|(1,1)-(2,9)

    17、|=(1-2)2+(1-9)2=65WinnerAW(2)=W(1)+(X(1)-W(1)W(2)=W(1)+(X(1)-W(1)=(7,2)+0.5(1-7),(1-2)=(7,2)+(-3,-5)=(4,1.5)|(9.4,6.4)-(4,1.5)|=53.17|(9.4,6.4)-(2,9)|=60.15WinnerAW(3)=(4,1.5)+0.5(9.4-4),(6.4-1.5)=(6.7,4)|(2.5,2.1)-(6.7,4)|=21.25|(2.5,2.1)-(2,9)|=47.86WinnerAW(4)=(6.7,4)+0.5(2.5-6.7),(2.1-4)=(4.6,3.

    18、1)1 2 3 4 5 6 7 8 9 10 8 7 6 5 4 3 2 1 Outstar NetworkOutstar 学习:学习:YXW-T-A LayerO LayerJI111000000000 训练训练K网,找到Winnner,所有的Winner连接置1,其他神经元连接置0 如果所有输入为同一类,根据输出期望直接连接Winner与相应输出节点的连接值如果输入类不同,利用监督矢量Y进行输出层学习,调整outstar层连接权重,规则如下:W(n+1)=W(n)+(Y-W(n)例:已知:数据如表,表中+1安全;-1 危险 x1-推进系统的引擎速度,数据范围0,10 x2-推进系统的引擎温

    19、度,数据范围0,10 数据超范围时,报警x1,x2,s,dWinner A:x1,x2,1,0Winner B:x1,x2,0,1X1X2safedangerousSDAB SA DA SB SB初始化初始化:WA=SA,DA=0,0 WA(n+1)=WA(n)+(Y-WA(n)Y=1,0,=0.2 WA(1)=0,0+0.2(1,0-0,0)=0.2,0 WA(2)=0.2,0+0.2(1,0-0.2,0)=0.36,0 WA(3)=0.36,0+0.2(1,0-0.36,0)=0.49,0 WA(4)=0.49,0+0.2(1,0-0.49,0)=0.59,0 WA(5)=0.59,0+0

    20、.2(1,0-0.59,0)=0.67,0 WA(n)1,0另一类竞争学习另一类竞争学习支持向量机支持向量机 SVM Support Vector Machine支持向量:支持向量:所学概念样本所学概念样本最大可分的最小数据集合最大可分的最小数据集合线性分类器线性分类器假设前提假设前提:数据独立同分布数据独立同分布 1 2 3 4 5 6 7 8 9 10 8 7 6 5 4 3 2 1 赫布机遇学习赫布机遇学习 Hebbian Coincidence Learning赫布学习理论赫布学习理论 神经生理学的观察神经生理学的观察关键词:细胞集合关键词:细胞集合 Cell assemblyCell

    21、 assembly 由成百个突触大规模连接的神经元细胞组l 细胞集合的产生:细胞集合的产生:简单而关键的简单而关键的特征特征重复输入重复输入传感器产生细胞集合,同时,细胞集合促进传感器产生细胞集合,同时,细胞集合促进周周围细胞集合围细胞集合响应而形成另外的细胞集合响应而形成另外的细胞集合l细胞集合激活:关键特征再次输入传感器,这细胞集合激活:关键特征再次输入传感器,这组细胞集合都有可能被激活组细胞集合都有可能被激活,继而,响应它们继而,响应它们而形成的细胞集合也会激活而形成的细胞集合也会激活 l细胞集合之间的联系:有正有负,并可以被改细胞集合之间的联系:有正有负,并可以被改变,变,一个细胞集合

    22、的激活将会提高与它有正相一个细胞集合的激活将会提高与它有正相关的细胞集合的活动,而减弱那些与它们有负关的细胞集合的活动,而减弱那些与它们有负相关的细胞集合的活动相关的细胞集合的活动l细胞集合反映形式:任何时刻,被激活的细胞细胞集合反映形式:任何时刻,被激活的细胞集合决定了传感器输入信息的反应集合决定了传感器输入信息的反应l 细胞集合的反映时间:细胞组合容易受到细胞集合的反映时间:细胞组合容易受到“需需要满足要满足”的影响(例如对饥饿、口渴的满足等的影响(例如对饥饿、口渴的满足等等)而增强它们之间的联系等)而增强它们之间的联系l细胞集合激活顺序:当前激活的细胞集合会预细胞集合激活顺序:当前激活的

    23、细胞集合会预先把与它相联系的细胞集合作为后续者,使得先把与它相联系的细胞集合作为后续者,使得它们激活后这些后续者很容易被激活它们激活后这些后续者很容易被激活 正联系细胞对负联系细胞对Hebbian LearningOiOjOiOj+-+-+)sgn(jioo无监督无监督 Hebbian Learning条件反射学习条件反射学习 随机选择的刺激作为希望的条件反射随机选择的刺激作为希望的条件反射巴浦洛夫巴浦洛夫 Pavlov 实验模型实验模型训练:每次铃声,给狗食物训练:每次铃声,给狗食物 无条件刺激无条件刺激反射:铃声引起狗的食欲反射:铃声引起狗的食欲 有条件反射有条件反射构建神经网络构建神经网

    24、络 W(n+1)=W(n)+sgn(W(n)X(n)YX1X2X3X4X5X6 wf(X)=sgn(WX)视觉视觉听觉听觉输入模式:1,-1,1,-1,1,-1 无条件刺激无条件刺激 新刺激新刺激假定:网络对无条件刺激响应为假定:网络对无条件刺激响应为“正正”权重向量:权重向量:1,-1,1 与输入无条件刺激相同与输入无条件刺激相同 权重向量:权重向量:0,0,0 与输入新刺激与输入新刺激网络初始权重:网络初始权重:1,-1,1,0,0,0 训练网络:输入模式训练,希望网络权重的学习训练网络:输入模式训练,希望网络权重的学习对新刺激产生对新刺激产生“正正”响应响应 WX=1,-1,1,0,0,

    25、0 1,-1,1,-1,1,-1T =1+1+1=3 sgn(3)=1W(2)=1,-1,1,0,0,0+0.21,-1,1,-1,1,-1 =1.2,-1.2,1.2,-0.2,0.2,-0.2WX=1.2,-1.2,1.2,-0.2,0.2,-0.2 1,-1,1,-1,1,-1T =1.2+1.2+1.2+0.2+0.2+0.2 =4.2 sgn(4.2)=1W(3)=1.2,-1.2,1.2,-0.2,0.2,-0.2+0.21,-1,1,-1,1,-1 =1.4,-1.4,1.4,-0.4,0.4,-0.4再进行再进行10次迭代后次迭代后W(13)=3.4,-3.4,3.4,-2.4

    26、,2.4,-2.4测试网络测试网络无条件刺激:无条件刺激:1,-1,1,1,1,-1sgn(WX)=sgn(3.4,-3.4,3.4,-2.4,2.4,-2.4 1,-1,1,1,1,-1T)=sgn(3.4+3.4+3.4-2.4+2.4+2.4)=sgn(12.6)=1无条件刺激:无条件刺激:1,-1,1,1,-1,-1sgn(WX)=sgn(3.4,-3.4,3.4,-2.4,2.4,-2.4 1,-1,1,1,-1,-1T)=sgn(3.4+3.4+3.4-2.4-2.4+2.4)=sgn(7.8)=1产生正响应产生正响应产生正响应产生正响应网络对原始刺激的敏网络对原始刺激的敏感增强了

    27、感增强了新刺激:新刺激:1,1,1,-1,1,-1sgn(WX)=sgn(3.4,-3.4,3.4,-2.4,2.4,-2.4 1,1,1,-1,1,-1 T)=sgn(3.4-3.4+3.4+2.4+2.4+2.4)=sgn(10.6)=1新刺激:新刺激:1,-1,-1,1,1,-1 新模式稍变新模式稍变 新食物或铃声新食物或铃声sgn(WX)=sgn(3.4,-3.4,3.4,-2.4,2.4,-2.4 1,-1,-1,1,1,-1 T)=sgn(3.4+3.4-3.4-2.4+2.4+2.4)=sgn(5.8)=1新模式新模式产生正响应!产生正响应!新模式稍变新模式稍变产生正响应!产生正

    28、响应!Hebbian Learning Hebbian Learning 产生了什么?产生了什么?新旧刺激不断重复产生,新旧刺激不断重复产生,使得网络使得网络建立建立了在了在新刺激新刺激和旧响应之间的联想和旧响应之间的联想有有监督监督Hebbian LearningHebbian Learning构建神经网络训练网络实现一组模式之间的联想x1 x2 x3 xny1 y2 ym联想模式序列:联想模式序列:,学习规则:学习规则:ij=djxi X=x1,x2,xn Y=d1,d2,dm W=YXDXXXWfnW)()(期望输出期望输出nmmmnnxyxyxyxyxyxyxyxyxyYX.11222

    29、1212111iiXYnWnW)()1()()(.)2()2()1()1()1(10,.,0,0)0(nXnYXYXYnWW线性吸引子线性吸引子 liner associator联想记忆和线性吸引子联想记忆和线性吸引子联想模式对联想模式对,联想记忆模式联想记忆模式异联想异联想 heteroassociative:如果随机矢量:如果随机矢量X比任比任何其他样例更靠近何其他样例更靠近Xi,则联想结果为,则联想结果为Yi自联想自联想 autoassociative:除除Xi=Yi 之外,所有联之外,所有联想与异联想相同;每个模式想与异联想相同;每个模式Xi 与自身相关,用于与自身相关,用于部分缺失或

    30、劣化刺激模式部分缺失或劣化刺激模式下的下的全模式记忆全模式记忆插入联想:当插入联想:当X不同于训练样例时不同于训练样例时,X=Xi+i,输出输出矢量矢量Y=Yi+f(Xi+i)x1 x2 x3 xny1 y2 ym)()(.)2()2()1()1()1(10,.,0,0)0(nXnYXYXYnWW定义矢量距离:hangminghangming空间Hn=X=(x1,x2,xn),xi+1,-1|X,Y|=X|X,Y|=X与与Y Y不相同元素个数不相同元素个数例例|(1,-1,-1,1),(1,1,-1,1)|H=1|(-1,-1,-1,1),(1,1,1,-1)|H=4|(1,-1,1,-1),

    31、(1,-1,1,-1)|H=0HangmingHangming矢量补:矢量补:(1,-1,1,-1),(-1,1,-1,1)互补互补HangmingHangming矢量正交矢量正交|:jijiXXijji,0,1)。()。(当。网络激活函数定义:nn2211inn22111kiikinn2211nn2211nn2211XYXYXYEXYXYXYY)(XXYYYYXYXYXY)(XYXYXYW)(XfXXXXfWXXfiiiiiiiii存储存储2 2个联想对个联想对:X1=1,-1,-1,-1 Y1=-1,1,1X1=-1,-1,-1,1 Y1=1,-1,1W=Y1X1+Y2X2+YnXn022

    32、020022002111111111111111111111111111111111111112211XYXYW网络测试:X=1,-1,-1,-1 y1=-4,sgn(-4)=-1y2=4,sgn(4)=+1y3=4,sgn(4)=+1Y=-1,1,1X=1,-1,1,-1y1=-4,sgn(-4)=-1y2=4,sgn(4)=+1y3=0,sgn(4)=+1Y=-1,1,1022020022002X X存在干扰存在干扰线性吸引子问题及特点可能不存在真实状态到正交矢量模式的映射存储的模式数受矢量空间维数限制,当正交维数不够时,会发生模式之间的串扰输入模式完全匹配样例时,线性吸引子联想到Y;当输入有一定偏差时,线性吸引子联想为Y附近的插值

    展开阅读全文
    提示  163文库所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:神经网络基础课件.ppt
    链接地址:https://www.163wenku.com/p-4235153.html

    Copyright@ 2017-2037 Www.163WenKu.Com  网站版权所有  |  资源地图   
    IPC备案号:蜀ICP备2021032737号  | 川公网安备 51099002000191号


    侵权投诉QQ:3464097650  资料上传QQ:3464097650
       


    【声明】本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是网络空间服务平台,本站所有原创文档下载所得归上传人所有,如您发现上传作品侵犯了您的版权,请立刻联系我们并提供证据,我们将在3个工作日内予以改正。

    163文库