人工神经网络课件讲义.ppt

1、 神经细胞与生物神经网络生物神经细胞（神经元）人脑大约由1012个神经元组成，神经元互相连接成神经网络。神经元是大脑处理信息的基本单元，以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。神经细胞与生物神经网络生物神经元神经细胞与生物神经网络 神经细胞神经元(neuron)神经细胞突起 突触 轴突(输出)和树突（输入）相互联接，其接口称为突触。神经突触是调整神经元之间相互作用的基本结构和功能单元。电信号 化学信号树突轴突神经细胞与生物神经网络 树突突触电位 轴突神经脉冲（动作电位）膜电位

2、：神经细胞内外电位之差 20100mv 静息电位：休止膜电位-70 mv ms20神经细胞与生物神经网络神经元的激活 当膜电位比静息电位高出约 20mv，即达到-50mv时，神经元（细胞）被激活。表现为膜电位急剧上升，在1ms内比静息电位上升100mv，达到30mv，轴突有电流传出。然后，膜电位又急剧下降，回到静息电位。ms2030mv人工神经网络人工神经网络(Artificial Neuron-AN)是由大量基本处理单元（神经元）广泛互联而成的网络，是人脑的抽象、简化、模拟，反映人脑的基本特性。作为神经元模型应具备的那些要素？人工神经网络 作为神经元模型应具备的三个要素具有突触或联接 用wi

3、j表示神经元i和j之间联接强度。正、负值具有反映生物神经元时空整合功能的输入信号累加器具有一个激励函数用于限制神经元输出 激励函数将输出信号压缩（限制）在一个允许范围内，是其成为有限值。0,1或-1,1人工神经网络 人工神经元模型 x1xn表示与该神经元相连接的所有神经元的输入（出）w1wn表示与相连接神经元的突触强度（连接权）表示神经元的（电压）阈值。f()表示激励函数,单调上升函数，且取有限值 神经元电位值：神经元的输出值：y=f(s)1x2xnx1w2wnwf().ysniiitxwfty1)()(人工神经网络 激励函数的基本作用控制输入对输出的激活；对输入、输出进行函数转换；将可能无限

4、域的输入变换成指定的有限范围内的输出。激励函数类型阈值函数线性函数非线性函数：Sigmoid函数人工神经网络 非线性函数 Sigmoid（S型）函数 a为s函数的斜率参数。非线性函数 S型函数：双曲正切 f(s)=tanh(s)f-as人工神经网络的类型结构分类单层前向网络多层前向网络反馈网络 互连网络人工神经网络的类型 单层前向网络拥有一层计算节点输入层输入层输出层输出层人工神经网络的类型 多层前向网络拥有一个或多个隐含层输入层输入层输出层输出层隐含层隐含层人工神经网络的类型 在人工神经网络中，权（值）是一个反映信息储存的关键量。在网络的结构和激励函数确定以后，如何设计权使网络达到一定的要求

5、，这是必不可少的部分，大多数神经网络权的设计是通过学习得到的。学习（训练）：通过神经网络所在环境的刺激作用调整网络的自由参数，使网络以一种新的方式对外部环境作出反应的过程。人工神经网络的学习 学习方法是人工神经网络研究中的核心问题。人工神经网络连接权的确定通常有两种方法：根据具体要求：直接计算出来，如Hopfield网络作优化计算时就属于这种情况；通过学习得到的，大多数人工神经网络都用这种方法。人工神经网络的学习 Hebb学习 是Donall Hebb根据生理学中条件反射机理，于1949年提出的神经元连接强度变化的规则。如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强。两个神经

6、元之间的连接权，正比于两个神经元的活动值。人工神经网络的学习jiijVVwWij是神经元xj到xi的突触权值，xj和xi分别表示神经元j和i在一段时间内的平均值。学习速率 Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形。Wij(n+1)=Wij(n)+wij(n)人工神经网络的学习 纠错学习 e(n)=d(n)-yi(n)d(n)为期望神经网络的输出；yi(n)实际输出；目的：调整权值，使误差信号e(n)减少设代价函数（性能指标）E(n)=1/2e2(n)反复调整突触权值使代价函数达到最小或使系统达到一个稳定状态（权值稳定），完成学习过

7、程。wij(n)=e(n)xj(n)wij神经元xj到xi的权值。为学习速率 Wij(n+1)=Wij(n)+wij(n)人工神经网络的特性 分布存储和容错性 信息在神经网络内的存储是按内容分布于许多神经元中，每个神经元存储多种信息的部分内容。部分信息的丢失仍可以使完整的信息得以恢复，网络具有容错性和联想记忆功能。并行处理 各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模并行的。人工神经网络的特性可塑性与自适应性和自组织性神经元之间的联接具有多样性，各元间的联接强度具有可塑性，相当于突触传递信息能力的变化。这使得网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。处理的

8、非线性 通过学习，ANN具有很好的输入输出映射，它可以是线性的也可以是非线性的。利用ANN的非线性，可解决许多非线性问题。BP神经网络2023-2-1221.1 BP网络简介1.2 网络模型1.3 学习规则1.4 图形解释1.BP网络2023-2-123反向传播网络(Back-Propagation Network，简称BP网络)是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络 权值的调整采用反向传播(Back-propagation）的学习算法它是一种多层前向反馈神经网络，其神经元的变换函数是S型函数输出量为0到1之间的连续量，它可实现从输入到输出的任意的非线性映射1.1

9、BP网络简介2023-2-1241.1 BP网络简介 BP网络主要用于下述方面函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数模式识别和分类：用一个特定的输出矢量将它与输入矢量联系起来；把输入矢量以所定义的合适方式进行分类；数据压缩：减少输出矢量维数以便于传输或存储 具有将强泛化性能：使网络平滑地学习函数，使网络能够合理地响应被训练以外的输入 泛化性能只对被训练的输入输出对最大值范围内的数据有效，即网络具有内插值特性，不具有外插值性。超出最大训练值的输入必将产生大的输出误差2023-2-1251.2 网络模型输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn2023-2-

10、1261.2 网络模型 感知器和自适应线性元件的主要差别在激活函数上：前者是二值型的，后者是线性的 BP网络具有一层或多层隐含层，除了在多层网络上与前面已介绍过的模型有不同外，其主要差别也表现在激活函数上。BP网络的激活函数必须是处处可微的，因此它不能采用二值型的阀值函数0，1或符号函数1，1 BP网络经常使用的是S型的对数或正切激活函数和线性函数2023-2-1271.2 网络模型 BP网络特点输入和输出是并行的模拟量网络的输入输出关系是各层连接的权因子决定，没有固定的算法权因子通过学习信号调节。学习越多，网络越聪明隐含层越多，网络输出精度越高，且个别权因子的损坏不会对网络输出产生大的影响只

11、有当希望对网络的输出进行限制，如限制在0和1之间，那么在输出层应当包含S型激活函数在一般情况下，均是在隐含层采用S型激活函数，而输出层采用线性激活函数2023-2-1281.2 网络模型 S型函数具有非线性放大系数功能，可以把输入从负无穷大到正无穷大的信号，变换成-1到l之间输出 对较大的输入信号，放大系数较小；而对较小的输入信号，放大系数则较大 采用S型激活函数可以处理和逼近非线性输入/输出关系2023-2-1291.3 学习规则 BP算法属于算法，是一种监督式的学习算法 主要思想对于q个输入学习样本：P1,P2,Pq，已知与其对应的输出样本为：T1,T2,Tq使网络输出层的误差平方和达到最

12、小用网络的实际输出A1,A2,Aq,与目标矢量T1,T2,Tq之间的误差修改其权值，使Am与期望的Tm,(ml,q)尽可能接近2023-2-1301.3 学习规则 BP算法是由两部分组成,信息的正向传递与误差的反向传播正向传播过程中，输入信息从输入层经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层神经元的状态如果在输出层未得到期望的输出，则计算输出层的误差变化值，然后转向反向传播，通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的权值直至达到期望目标2023-2-1311.3 学习规则 假设输入为P，输入神经元有r个，隐含层内有s1个神经元，激活函数为F1，输出层内有s2个神

13、经元，对应的激活函数为F2，输出为A，目标矢量为T2023-2-1321.3 学习规则 信息的正向传递隐含层中第i个神经元的输出输出层第k个神经元的输出定义误差函数2023-2-1331.3 学习规则 利用梯度下降法求权值变化及误差的反向传播 输出层的权值变化 其中 同理可得2023-2-1341.3 学习规则 利用梯度下降法求权值变化及误差的反向传播 隐含层权值变化 其中 同理可得2023-2-1351.3 学习规则 对于f1为对数S型激活函数，对于f2为线性激活函数2023-2-1361.4 误差反向传播图形解释 误差反向传播过程实际上是通过计算输出层的误差ek，然后将其与输出层激活函数的

14、一阶导数f2相乘来求得ki 由于隐含层中没有直接给出目标矢量，所以利用输出层的ki反向传递来求出隐含层权值的变化量w2ki。然后计算 同样通过将ei与该层激活函数的一阶导数f1相乘，而求得ij，以此求出前层权值的变化量w1ij 如果前面还有隐含层，沿用上述同样方法依此类推，一直将输出误差ek逐层的反推算到第一层为止2023-2-1371.4 误差反向传播图形解释2023-2-138BP算法的程序流程高校校园安全评价高校校园安全评价前前11组样本数组样本数据作为训练样据作为训练样本本最后最后1组作为组作为验证数据验证数据输入层个数：输入层个数：17个（校园安全指标攻个（校园安全指标攻17个）个）隐含层个数：隐含层个数：11个（根据经验）个（根据经验）输出层个数：输出层个数：4个（评价指标优、良、中、个（评价指标优、良、中、差）差）训练函数：训练函数：trainlm训练次数：训练次数：1000次次训练目标：训练目标：0.0001学习率：学习率：0.1