神经网络最终版课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《神经网络最终版课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 神经网络 最终版 课件
- 资源描述:
-
1、人工神经网络基础知识人工神经网络基础知识1.人工神经网络概述什么是人工神经网络(Artificial NeuralNetwroks-ANN)?生物神经网络生物神经网络(natural neural network,NNN):(natural neural network,NNN):由中枢由中枢神经系统(脑和脊髓)及周围神经系统(感觉神经、运动神神经系统(脑和脊髓)及周围神经系统(感觉神经、运动神经等)所构成的错综复杂的神经网络,其中最重要的是经等)所构成的错综复杂的神经网络,其中最重要的是脑神脑神经系统经系统。人工神经网络人工神经网络(artificial neural networks,AN
2、N):(artificial neural networks,ANN):模拟模拟人脑神经系统人脑神经系统的结构和功能,运用大量简单处理单元经广泛的结构和功能,运用大量简单处理单元经广泛连接而组成的人工网络系统。连接而组成的人工网络系统。T.KoholenT.Koholen的定义:的定义:“人工神经网络是由具有适应性的简单单人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。统对真实世界物体所作出的交互反应。”1.1 研究研究ANN目的目的1.2 ANN的研究内容的研究内容
3、1.3 研究研究ANN方法方法1.4 神经网络的发展概况神经网络的发展概况1.5 神经网络的特点神经网络的特点1.人工神经网络概述 利用机器模仿人类的智能是长期以来人利用机器模仿人类的智能是长期以来人们认识自然、改造自然和认识自身的理想。们认识自然、改造自然和认识自身的理想。1.1 研究研究ANN目的:目的:(1)探索和模拟人的感觉、思维和行为的)探索和模拟人的感觉、思维和行为的规律,设计具有人类智能的计算机系统。规律,设计具有人类智能的计算机系统。(2)探讨人脑的智能活动,用物化了的智探讨人脑的智能活动,用物化了的智能来考察和研究人脑智能的物质过程及其规能来考察和研究人脑智能的物质过程及其规
4、律。律。1.2 ANN的研究内容(1)理论研究理论研究:ANNANN模型及其学习算法,试图从数模型及其学习算法,试图从数学上描述学上描述ANNANN的动力学过程,建立相应的的动力学过程,建立相应的ANNANN模型,模型,在该模型的基础上,对于给定的学习样本,找出一在该模型的基础上,对于给定的学习样本,找出一种能以较快的速度和较高的精度调整神经元间互连种能以较快的速度和较高的精度调整神经元间互连权值,使系统达到稳定状态,满足学习要求的算权值,使系统达到稳定状态,满足学习要求的算法。法。(2)实现技术的研究实现技术的研究:探讨利用电子、光学、生探讨利用电子、光学、生物等技术实现神经计算机的途径。物
5、等技术实现神经计算机的途径。(3)应用的研究应用的研究:探讨如何应用探讨如何应用ANN解决实际问解决实际问题,如模式识别、故障检测、智能机器人等。题,如模式识别、故障检测、智能机器人等。1.3 研究ANN方法(1)生理结构的模拟:)生理结构的模拟:用仿生学观点,探索人脑的生理结构,把对用仿生学观点,探索人脑的生理结构,把对人脑的微观结构及其智能行为的研究结合起来即人人脑的微观结构及其智能行为的研究结合起来即人工神经网络(工神经网络(Artificial Neural Netwroks,简称简称ANN)方法。方法。(2)宏观功能的模拟:)宏观功能的模拟:从人的思维活动和智能行为的心理学特性出从人
6、的思维活动和智能行为的心理学特性出发,利用计算机系统来对人脑智能进行宏观功能的发,利用计算机系统来对人脑智能进行宏观功能的模拟,即模拟,即符号处理方法符号处理方法。q 探索时期探索时期:(开始于(开始于20世纪世纪40年代)年代)1943年,麦克劳(年,麦克劳(W.S.McCullocn)和匹茨(和匹茨(W.A.Pitts)首次提出一个神经网络模型首次提出一个神经网络模型MP模型。模型。1949年,赫布(年,赫布(D.O.Hebb)提出提出改变神经元连接强度的改变神经元连接强度的 Hebb学习规则。学习规则。1.4 神经网络的发展概况 1958年,罗森布拉特(年,罗森布拉特(F.Rosenbl
7、att)提出感知器模型提出感知器模型(perceptron)。)。1959年,威德罗年,威德罗(B.Widrow)等提出自适应线性元件(等提出自适应线性元件(adaline)网络,通过训练后可用于抵消通信中的回波和噪声。网络,通过训练后可用于抵消通信中的回波和噪声。1960年,年,他和他和 M.Hoff 提出提出LMS(Least Mean Square 最小方差)算法最小方差)算法的学习规则。的学习规则。q 第一次热潮时期:第一次热潮时期:(20世纪世纪50年代末年代末 20世纪世纪60年代年代初初)1969年,明斯基(年,明斯基(M.Minsky)等在等在Perceptron中对感知器功能
8、得出悲观结论。中对感知器功能得出悲观结论。1972年,年,T.Kohonen 和和 J.Anderson 分别提出能完成分别提出能完成记忆的新型神经网络。记忆的新型神经网络。1976年,年,S.Grossberg 在自组织神经网络方面的研究在自组织神经网络方面的研究十分活跃。十分活跃。q 低潮时期:低潮时期:(20世纪世纪60年代末年代末 20世纪世纪70年代年代)q 第二次第二次热潮时期:热潮时期:20世纪世纪80年代至今年代至今 1982年年1986年,霍普菲尔德(年,霍普菲尔德(J.J.Hopfield)陆续提出离陆续提出离散的和连续的全互连神经网络模型,并成功求解旅行商问题散的和连续的
9、全互连神经网络模型,并成功求解旅行商问题(TSP)。)。1986年,鲁姆尔哈特(年,鲁姆尔哈特(Rumelhart)和麦克劳(和麦克劳(McCellan)等等在在Parallel Distributed Processing中提出反向传播学习算法中提出反向传播学习算法(BP算法)算法)。1987年年6月,首届国际神经网络学术会议在美国圣地亚哥召开,月,首届国际神经网络学术会议在美国圣地亚哥召开,成立了国际神经网络学会(成立了国际神经网络学会(INNS)。)。1.5 人工神经网络的特点(1)固有的并行结构和并行处理固有的并行结构和并行处理人工神经网络与人类的大脑类似,不但结构上是并行的,人工神经
10、网络与人类的大脑类似,不但结构上是并行的,其处理顺序也是并行的和同时的。其处理顺序也是并行的和同时的。在在同一层内同一层内的处理单元都是的处理单元都是同时工作同时工作的,即神经网络的计的,即神经网络的计算功能分布在多个处理单元上,而传统的计算机通常只有算功能分布在多个处理单元上,而传统的计算机通常只有一个处理单元,其处理顺序是串行的。一个处理单元,其处理顺序是串行的。目前的神经网络功能常常用一般计算机的串行工作方式来目前的神经网络功能常常用一般计算机的串行工作方式来模拟,所以显得很慢,真正意义上的神经网络将会大大提模拟,所以显得很慢,真正意义上的神经网络将会大大提高处理速度,实现快速处理。高处
11、理速度,实现快速处理。(2)知识的分布存储知识的分布存储在神经网络中,知识不是存储在特定的存储单元,而是在神经网络中,知识不是存储在特定的存储单元,而是分布在整个系统中,要存储多个知识就需要很多连接。分布在整个系统中,要存储多个知识就需要很多连接。在计算机中,只要给定一个地址就可以得到一个或一组在计算机中,只要给定一个地址就可以得到一个或一组数据,在神经网络中,要获得存储的知识则采用数据,在神经网络中,要获得存储的知识则采用“联联想想”的办法,这类似于人类和动物的记忆。的办法,这类似于人类和动物的记忆。当一个神经网络输入一个激励时,它要在已存储的知识当一个神经网络输入一个激励时,它要在已存储的
12、知识中寻找与该输入匹配最好的知识存储为其解。中寻找与该输入匹配最好的知识存储为其解。人类根据联想善于正确识别图形,人工神经网络也具有人类根据联想善于正确识别图形,人工神经网络也具有这种能力。这种能力。(3)容错性容错性人类大脑具有很强的容错能力,这正是由于大脑中知人类大脑具有很强的容错能力,这正是由于大脑中知识是存储在很多处理单元和它们的连接上的。识是存储在很多处理单元和它们的连接上的。每天大脑的一些细胞都可能会自动死亡,但这并没有影响每天大脑的一些细胞都可能会自动死亡,但这并没有影响人们的记忆和思考能力。人们的记忆和思考能力。人工神经网络可以从不完善的数据和图形进行学习和人工神经网络可以从不
13、完善的数据和图形进行学习和做出决定做出决定 由于知识存在整个系统中,而不是在一个存储单元内,因由于知识存在整个系统中,而不是在一个存储单元内,因此一定比例的结点不参与运算,对整个系统的性能不会产此一定比例的结点不参与运算,对整个系统的性能不会产生重大影响。生重大影响。神经网络中承受硬件损坏的能力比一般计算机要强得多。神经网络中承受硬件损坏的能力比一般计算机要强得多。(4)自适应性)自适应性人类有很强的适应外部的学习能力人类有很强的适应外部的学习能力 小孩在周围环境的熏陶下可以学会很多事情,如通过学习可以认小孩在周围环境的熏陶下可以学会很多事情,如通过学习可以认字、说话、走路、思考、判断等。字、
14、说话、走路、思考、判断等。n人工神经网络也具有学习能力人工神经网络也具有学习能力p有指导的训练:有指导的训练:将输入样本加到网络输入并给出相应的将输入样本加到网络输入并给出相应的输出,通过多次训练迭代获得连接权值。输出,通过多次训练迭代获得连接权值。好像告诉网络:好像告诉网络:“当你看到这个图形(比如当你看到这个图形(比如5)时,请给)时,请给我指示我指示5”。p无指导的训练:无指导的训练:网络通过训练自行调节连接加权,从而网络通过训练自行调节连接加权,从而对输入样本分类对输入样本分类在网络训练时,有时只能给出大量的输入图形,没有指定它在网络训练时,有时只能给出大量的输入图形,没有指定它们的输
15、出,网络就自行按输入图形的特征对它们进行分类。们的输出,网络就自行按输入图形的特征对它们进行分类。如小孩通过大量观察可以分辨出哪是狗、哪是猫一样。如小孩通过大量观察可以分辨出哪是狗、哪是猫一样。2 神经元与神经网络神经元与神经网络2.1 生物神经元的结构生物神经元的结构2.2 神经元数学模型神经元数学模型2.3 神经网络结构与工作方式神经网络结构与工作方式2.4 神经网络的学习方法神经网络的学习方法2.1 生物神经元的结构生物神经元的结构n人脑由一千多亿(人脑由一千多亿(10111011亿亿 1014 1014 亿)个神经细胞(神经亿)个神经细胞(神经元)交织在一起的网状结构组元)交织在一起的
16、网状结构组成,其中大脑皮层约成,其中大脑皮层约140140亿个神亿个神经元,小脑皮层约经元,小脑皮层约10001000亿个神经亿个神经元。元。n 神经元约有神经元约有10001000种类型,每个神经元大约与种类型,每个神经元大约与10103 3 10104 4个其他个其他神经元相连接,形成极为错综复杂而又灵活多变的神经网络。神经元相连接,形成极为错综复杂而又灵活多变的神经网络。n 人的智能行为就是由如此高度复杂的组织产生的。浩瀚的宇人的智能行为就是由如此高度复杂的组织产生的。浩瀚的宇宙中,也许只有包含数千忆颗星球的银河系的复杂性能够与大宙中,也许只有包含数千忆颗星球的银河系的复杂性能够与大脑相
17、比。脑相比。(输入输入)(输出输出)神经冲动神经冲动n神经元的信息传递和处理是一种电化学活动,树突由于电化神经元的信息传递和处理是一种电化学活动,树突由于电化学作用接受外界的刺激学作用接受外界的刺激(输入输入);通过胞体内的活动体现为轴;通过胞体内的活动体现为轴突电位,当轴突电位达到一定的值则形成神经脉冲或动作电突电位,当轴突电位达到一定的值则形成神经脉冲或动作电位;再通过轴突末梢传递给其他神经元位;再通过轴突末梢传递给其他神经元(输出输出)。从控制论的。从控制论的观点来看,这一过程可以看作一个多输入单输出非线性系统观点来看,这一过程可以看作一个多输入单输出非线性系统的动态过程。的动态过程。细
18、胞体突触轴突树突图12.2 生物神经元功能模型输入输出信息处理电脉冲形成传输生物神经网络基本模型生物神经网络基本模型n神经元的神经元的 工作状态:工作状态:l 兴奋状态兴奋状态:细胞膜电位:细胞膜电位 动作电位的阈值动作电位的阈值 神经冲动神经冲动 l 抑制状态抑制状态:细胞膜电位:细胞膜电位 0,此时此时who0情况二情况二直观表达直观表达 当误差对权值的偏导数当误差对权值的偏导数小于零小于零时时,权值调整量权值调整量为正为正,实际输实际输出少于期望输出,权值向增大出少于期望输出,权值向增大方向调整,使得实际输出与期方向调整,使得实际输出与期望输出的差减少。望输出的差减少。hoewe0who
展开阅读全文