辨识方法人工神经网络教学课件.pptx

1、1参考文献神经网络理论神经网络理论 【俄俄】A.H.A.H.加卢什金著加卢什金著人工神经网络人工神经网络 郑君里郑君里 杨行峻杨行峻神经网络控制技术及其应用神经网络控制技术及其应用 何玉彬何玉彬 李新忠著李新忠著神经网络、模糊系统及其在运动控制中的应用神经网络、模糊系统及其在运动控制中的应用 丛爽著丛爽著神经计算神经计算 原理、语言、设计、应用原理、语言、设计、应用 何明何明 一著一著面向面向MATLABMATLAB工具箱的神经网络理论与应用工具箱的神经网络理论与应用 侯媛彬、汪梅等著侯媛彬、汪梅等著起因电子元器件：纳秒量级 10-9神经细胞：毫秒量级 10-3记忆、计算、判断：1秒范德曼 J

2、.A.Feldman 100步程序长度 新型的信号处理机制新型的信号处理机制23ANNANN研究历史研究历史三个阶段三个阶段初创期（初创期（1943-19691943-1969）19431943年年 McCulloch McCulloch 和和Pitts Pitts 著作著作 第一次提出了神经网络模拟第一次提出了神经网络模拟2 2、19491949年年 Hebb Hebb 研究大脑神经细胞、学习及条件反射研究大脑神经细胞、学习及条件反射提出了提出了HebbianHebbian规则（从心理学角度）规则（从心理学角度）3 3、19571957年年 Frank Resenblant Frank Re

3、senblant（神经元之父）提出了（神经元之父）提出了感知器（感知器（Perceptron)Perceptron)，确立了从系统角度研究的基，确立了从系统角度研究的基础。础。（自动学习模式分类的判别函数的一般性方法，推广到自动学习模式分类的判别函数的一般性方法，推广到有多层相互连接的阀值逻辑单元构成的审议机）有多层相互连接的阀值逻辑单元构成的审议机）4 4、19621962年年 BloekBloek用解释器证明了感知器的学习收敛性用解释器证明了感知器的学习收敛性 19691969年年M.MinskyM.Minsky，S.PapertS.Papert证明了感知器的局限证明了感知器的局限性和多层

4、感知器还没有性和多层感知器还没有找到有效的计算方法有效的计算方法4过渡阶段（过渡阶段（1970-19861970-1986）5 5、7070年代，低谷。年代，低谷。M.Minsky M.Minsky的论点极大地影响了的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。的研究处于低潮。6 6、Hopfield Hopfield 于于19821982年和年和19841

5、984年提出年提出HopfieldHopfield神神经网络模型，引入网络能量函数的概念，开创了经网络模型，引入网络能量函数的概念，开创了神经网络用于联想记忆和优化计算的新途径。神经网络用于联想记忆和优化计算的新途径。K.Fukushima K.Fukushima等提出神经认知机网络理论等提出神经认知机网络理论。7 7、1986 Rumelhart1986 Rumelhart等人提出了等人提出了BP BP 网络。网络。19861986年年进行认知微观结构地研究，提出了并行分布处理进行认知微观结构地研究，提出了并行分布处理的理论的理论(74(74年，年，WerbosWerbos博士论文提出博士论

6、文提出)8 8、1987 Kohonen1987 Kohonen提出自组织映射理论。提出自组织映射理论。发展阶段（发展阶段（19861986年之后）年之后）9 9、标志是、标志是19871987年年6 6月在美国圣地亚哥召开月在美国圣地亚哥召开了第一届了第一届 世界神经网络会议世界神经网络会议1010、19881988年前后我国发展起来年前后我国发展起来 19891989年我国第一届神经网络年我国第一届神经网络-信号处理信号处理会议会议5神经细胞功能：产生、处理和传递信号。构成：细胞体、树突和轴突。基本信息：兴奋或抑制。信号量足够大，激活细胞，产生脉冲。67一、基本概念1、定义、定义 ANN是

7、指由大量自然神经系统的神经细胞类似的（人工是指由大量自然神经系统的神经细胞类似的（人工）神经元互联而成的网络。）神经元互联而成的网络。单个人工神经元的功能简单，但大量神经元构成网络，单个人工神经元的功能简单，但大量神经元构成网络，其并行运算的特点使得其行为及其丰富多彩。其并行运算的特点使得其行为及其丰富多彩。神经网络是一个非线性动力学系统，特色：分布式存储神经网络是一个非线性动力学系统，特色：分布式存储和并行协调。和数字计算机相比，神经网络具有集体运和并行协调。和数字计算机相比，神经网络具有集体运算能力和自适应学习能力。算能力和自适应学习能力。人工神经网络是智能控制技术的三大组成部分人工神经网

8、络是智能控制技术的三大组成部分-神经网神经网络、模糊控制和专家系统络、模糊控制和专家系统8智能功能具有两类模拟能力智能功能具有两类模拟能力（1）低级处理能力）低级处理能力 研究生物神经细胞结构，获得生物神研究生物神经细胞结构，获得生物神经细胞的某些特征。经细胞的某些特征。（感知器、（感知器、BP网络）网络）（2）高级处理能力）高级处理能力 利用生物学、数学等手段，提炼利用生物学、数学等手段，提炼ANN应具备的高级智能的能力，设计其基本应具备的高级智能的能力，设计其基本处理单元。处理单元。（LAC的竞争机理、良心机理）的竞争机理、良心机理）92、人工神经元基本模型f（x）X1X2XnW1Wn y

9、 图图 神经元结构模型神经元结构模型多入单出表达式)(1IfyXWInjjj 为阈值f(x)为激发函数103、激发函数22()()xcbfxe阈值型分段线性双曲函数Sigmoid函数高斯函数基本网络结构1114、神经网络模型结构12基本网络结构2135 5、人工神经网络学习方法、人工神经网络学习方法相关规则仅根据连接间的激活水平改变权值。Hebb算法纠错规则依赖于输出节点的外部反馈改变权系数。学习规则、梯度下降法、BP算法无教师学习规则自适应于输入空间的检测规则，有选择地接受输入空间的不同特性。竞争式学习14Winner-Take-all学习规则是一种竞争学习规则mmWXW只有获胜神经元才有权

10、调整其权向量，调整量为 对于一个特定的输入X，竞争层的所有p个神经元均有输出响应，其中响应值最大的神经元为在竞争中获胜的神经元。15分布式存储分布式存储系统信息等式分布存储在网络的各个神经元及其连接权值中，有很强的鲁棒性。并行并行处理及推理的过程具有并行的特点非线性非线性神经网络本质上是非线性系统，能够充分逼近任意复杂的非线性关系。自学习和自适应能力自学习和自适应能力具有高度的自适应性和自组织性，能够学习和适应严重不确定性系统的动态特性。6 6、特、特 点点16二、神经网络学习算法感知器网络BP网络线性神经网络径向基函数RBF网络竞争型神经网络反馈型神经网络输入 输出对神经网络的参数进行初始化

11、误差反向传播：如果输出层得不到期望结果，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经网络的权值，使过程的输出和神经网络模型的输出之间误差最小为止。（4）网络的隐层节点个数选择尚无理论指导，而是根据经验选取。基本信息：兴奋或抑制。利用生物学、数学等手段，提炼ANN应具备的高级智能的能力，设计其基本处理单元。初创期（1943-1969）（3）权值和阀值的初值选取对结果会有很大的影响，不同的初值会使学习得到的BP网络的权值和阀值也不同，尽管它们都能满足给定的精度。发展阶段（1986年之后）（3）权值和阀值的初值选取对结果会有很大的影响，不同的初值会使学习得到的BP网络的权值和阀值

12、也不同，尽管它们都能满足给定的精度。（1）信息的正向传播各层神经元的输入输出关系神经网络控制技术及其应用 何玉彬 李新忠著自适应和非线性问题：弱信号检测、自适应滤波等。选择时隐层最多不要超过2层。（2）学习速度和惯量因子的配对选择是至关重要的，一般的原则是，或者和都选得比较大，或者都选择比较小。数据后处理函数：恢复被函数premnmx归一化的数据Minsky的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。造成网络的局部收敛，影响系统的精度3、计算各层的输出，完成前向过程：输入 输出1

13、7误差反向传播算法原理（误差反向传播算法原理（BPBP算法）算法）1986年Rumelhart和McCleland提出了多层前馈人工神经网络及其学习算法误差反向传播（Error back-propagation,BP）算法，它是目前在实际中应用最广泛的一种人工神经网络。Back-Propagation Network18图 3 BP网络结构示意图 No Nh Ni 算法的主要思想BP网络是一种正向的、各层相互全连接的网络。正向传播：输入信号要经过输入层，向前传递给隐层节点，经过激发函数作用后，把隐层节点的输出传递到输出节点，再经激发函数后给出输出结果。误差反向传播：如果输出层得不到期望结果，则

14、转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经网络的权值，使过程的输出和神经网络模型的输出之间误差最小为止。19BP算法选用的激发函数LOG-Sig函数Tan-Sig函数线性函数201()1xfxe22()tan()11xf xsig xeBP算法过程（1）信息的正向传播各层神经元的输入输出关系输入层第i个节点输入 输出隐层第j个节点输入 输出输出层第k个节点输入 输出211Miiiinetx122tan()11Miiiiixasig nete1Njjiijinetw a()jjaf net1Lkkjjkjnetw a()kkyf net（2）网络权值调整规则 核心是利用梯度下

15、降法调整网络的权值，使其调整量与其对应的负梯度成正比。每一样本的误差函数系统代价函数修正公式22211()2LppkpkkEyapkjkjEww 21111()2PPLppkpkppkEEya01步长pjkkjEaw k反传误差信号反向误差传播公式23(1)()kjkjkkjwkwka 输出层：(1)()kkkpkkyyyy输出层反传误差信号：隐层反传误差信号：1(1)Ljjjkkjkaaw隐层：对sigmoid函数有：(1)()jijijjiwkwka 为提高学习效率，增加一个态势项。其中为惯性因子，其作用是引入权值修正惯性项，减轻振荡效应，加快学习速度。()(1)kkjkjwkwk()(1

16、)jjijiwkwk24图 3 BP网络结构示意图 No Nh Ni 25归纳学习过程1、给数值、阀值赋初值，给定适当的学习速度，惯量因子，误差限值和最大学习次数，并令(0)=0，指数型能量函数参数a2.8，b0.98。2、读入学习样本X(t),Y(t)，t=1,2,T3、计算各层的输出，完成前向过程：4、修正权值、阀值、完成反向传播过程：5、计算输出误差和总误差 6、学习次数达到给定限值，则可保存网络并退出，26 图 典型BP网络误差变化曲线.BP网络结构选为351，学习速度=0.7，惯量因子0.9。0200400600800100012000.000.020.040.060.080.10

17、对于不同的研究对象，提出选择合适的神经网络结构，对于多层前馈网络，提出网络层次、隐层节点的选择规则。3、计算各层的输出，完成前向过程：（1）由于Sigmoid函数的输入在0和1之间，只能趋近于0或1，而不能达到0或1。发展阶段（1986年之后）电子元器件：纳秒量级 10-9对神经网络逐层进行初始化采用Nguyen-Widrow方法对网络层进行初始化为提高学习效率，增加一个态势项。选择时隐层最多不要超过2层。BP网络是一种正向的、各层相互全连接的网络。过渡阶段（1970-1986）适宜组成快速实时自适应控制系统：并行分布控制、智能鲁棒控制等数据后处理函数：恢复被函数premnmx归一化的数据6、

18、学习次数达到给定限值，则可保存网络并退出，只有获胜神经元才有权调整其权向量，调整量为（1）信息的正向传播各层神经元的输入输出关系并用改进BP网络对其中的几组数据进行了动态建模.图7 负荷建模用BP网络结构（Y=P或Q）BP网络是一种正向的、各层相互全连接的网络。为提高学习效率，增加一个态势项。27BP网络设计问题：（1）网络层数理论证明：在不限定隐层节点数情况下，两层（只有一个隐层）的BP网络可实现任意非线性映射。选择时隐层最多不要超过2层。（2）输入层节点数n：由输入向量的维数决定。（3）输出层节点数m：由输出向量维数决定。（4）隐层节点数n1：多为凭经验或尝试而定，还没有完善的理论证明。一

19、般可参考一下经验公式：（5）激活函数：LogSig函数;TanSig函数;线性函数Pureline（6）训练方法：最速下降法、动量BP法、学习率可变算法、弹性BP法、变梯度算法、线性搜索路径、拟牛顿法、LM(Levenberg-Marquardt)算法amnn1nn2log1a为110的一个数适合数据压缩28实际应用中，必须注意的问题：（1）由于Sigmoid函数的输入在0和1之间，只能趋近于0或1，而不能达到0或1。因此在训练网络以前，应该对学习样本的期望输出值进行标度（Scale）,使其落在区间a，b内，通常可取a=0.1，b=0.9。（2）学习速度和惯量因子的配对选择是至关重要的，一般的

20、原则是，或者和都选得比较大，或者都选择比较小。和的选取问题，可参考有关文献，但目前还有统一的标准。（3）权值和阀值的初值选取对结果会有很大的影响，不同的初值会使学习得到的BP网络的权值和阀值也不同，尽管它们都能满足给定的精度。这说明在用BP网络解决实际问题时，存在多个表达，但其外部特性是一致的。29（4）网络的隐层节点个数选择尚无理论指导，而是根据经验选取。（5）从数学上看，BP算法是一个非线性的优化问题，这就不可避免地存在局部最小问题。BP算法的一种改进BP算法收敛慢BP网络是一种全反传式的前向网络误差反传信号修正全部权值对权值修正增加一个协调器（基于降低网络灵敏度的BP改进算法）当误差较大

21、时，协调器控制输出层的权值阵增大当误差【10%，20%】时，协调器控制输出层权值减小，同时停止其他层权值的修正，降低网络灵敏度，避免输出过冲，造成反向误差当误差10%时，只允许靠近网络输入层的第一或第二隐层权值修正，同时停止输出层权值及其他权值的修正，再降低网络灵敏度。Matlab工具箱函 数 名 称功 能Newff建立一个前向BP网络Init对神经网络的参数进行初始化Initlay对神经网络逐层进行初始化initnw采用Nguyen-Widrow方法对网络层进行初始化rands对权值和阈值进行随机初始化Purelin纯线性激活函数Tansig正切S(Sigmoid)形激活函数Logsig对数

22、S(Sigmoid)形激活函数Train对神经网络进行训练trainlm利用Levenberg-Marquardt反向传播算法对网络进行训练mse均方误差函数Sim对神经网络进行仿真Premnmx数据预处理函数：把数据归一化到1和1之间Postmnmx数据后处理函数：恢复被函数premnmx归一化的数据3132ANN在建模方面的独特优越性 人工神经网络作为一个具有高度非线性的动力学系统，可实现任意程度的非线性映射，而且具有很强的泛化能力。另外，作为一个非结构模型，可省去一些模型结构选择方面的问题。很适合对于参数易变的非线性复杂系统的模型辨识3334三、神经网络的应用模式识别与分类可提取信号图像

23、的模式特征，具有自适应的特点手写体识别、人脸识别、雷达目标识别、机器人视觉听觉等人工智能专家系统的局限形象思维自然语音处理、市场分析、预测估值、系统诊断、模糊评判控制工程领域适宜组成快速实时自适应控制系统：并行分布控制、智能鲁棒控制等信号处理自适应和非线性问题：弱信号检测、自适应滤波等。3536实例实例 改进改进BPBP网络用于负荷动态建模网络用于负荷动态建模负荷可被看作是一个非线性随机系统。从输入输出的角度来看，负荷的动态特性是指其输出量（有功功率P和无功功率Q）与输入量（电压V和频率f）以及它们的导数之间的关系，06秒该条线路三相短路，0.学习速度慢，训练时间长限制了实时应用，尤其在控制领

24、域中图 电力系统频率控制的系统框图并用改进BP网络对其中的几组数据进行了动态建模.构成：细胞体、树突和轴突。2、1949年 Hebb 研究大脑神经细胞、学习及条件反射提出了Hebbian规则（从心理学角度）正向传播：输入信号要经过输入层，向前传递给隐层节点，经过激发函数作用后，把隐层节点的输出传递到输出节点，再经激发函数后给出输出结果。（4）网络的隐层节点个数选择尚无理论指导，而是根据经验选取。4的数据组成测试样本集2、人工神经元基本模型数据预处理函数：把数据归一化到1和1之间输入 输出综合负荷为恒定阻抗（静态部分感应电动机（动态部分）（3）权值和阀值的初值选取对结果会有很大的影响，不同的初值

25、会使学习得到的BP网络的权值和阀值也不同，尽管它们都能满足给定的精度。3、计算各层的输出，完成前向过程：（5）从数学上看，BP算法是一个非线性的优化问题，这就不可避免地存在局部最小问题。3、计算各层的输出，完成前向过程：2秒三相重合闸重合成功，此时取k=20%。适宜组成快速实时自适应控制系统：并行分布控制、智能鲁棒控制等BP网络结构选为351，学习速度=0.37图7 负荷建模用BP网络结构（Y=P或Q）Y(t)U(t-NP)Y(t-2)Y(t-1)38网络采用8-1-1结构，模型阶次NP=2，学习速度=0.1，惯量因子=0.01。0204060801000.7300.7350.7400.745

26、0.7500.7550.7600.7650.7700.775NP(p.u.)图8 马南甲线实测与拟合曲线负荷辨识结果有功功率 39图9 启村线实测与拟合曲线 0204060800.360.380.400.420.44 实测 拟合NQ(p.u.)40利用仿真数据建立负荷动态模型利用仿真数据建立负荷动态模型 条件条件:综合负荷为恒定阻抗（静态部分感应电动机（动态部分）扰动方式为扰动方式为:0.06秒该条线路三相短路，0.1秒三相重合闸跳开，0.2秒三相重合闸重合成功，此时取k=20%。并用改进BP网络对其中的几组数据进行了动态建模.结果如下图结果如下图.410123450.840.860.880.

27、900.920.940.960.981.00t(s)V(p.u.)（a）母线电压 0123450.340.360.380.400.420.44 Real BPt(s)P(p.u.)（b）有功功率P 0123450.050.100.150.200.250.30 Real BPt(s)Q(p.u.)（c）无功功率Q 图10 k=20%仿真和测试拟合曲线 改进BP网络结构为511，其中未计及频率的变化，模型阶次NP=2，学习速度=0.1，惯量因子=0.01。42图图 电力系统频率控制的系统框图电力系统频率控制的系统框图利用神经网络自组织构成的模糊控制器在系利用神经网络自组织构成的模糊控制器在系统扰动

28、时的作用统扰动时的作用43系统的动态响应负荷参数辨识44 EDLESL等效动态负荷等效静态负荷负荷母线(),(1),(),(),(1),(),)0F Y t Y tY tn U t U tU tn(),(1),(),(),(1),()f Y t Y tY tn U t U tU tn112113212.P(t)P(t-1)f(t-2)训练样本集选为，由动静组成比例为0.3、0.7、0.05、0.95、0.5时的仿真数据组成 选定0.8、0.2、0.6和0.4的数据组成测试样本集 45神经网络的研究方向问题存在局部极小。造成网络的局部收敛，影响系统存在局部极小。造成网络的局部收敛，影响系统的精度

29、的精度学习速度慢，训练时间长限制了实时应用，尤其学习速度慢，训练时间长限制了实时应用，尤其在控制领域中在控制领域中理想的训练样本提取困难，影响了网络的训练速理想的训练样本提取困难，影响了网络的训练速度和质量度和质量网络结构不易优化，特别是隐层节点数目的选取网络结构不易优化，特别是隐层节点数目的选取常常带有盲目性。常常带有盲目性。理论上还没有完全解决神经网络学习算法的收敛理论上还没有完全解决神经网络学习算法的收敛性和神经网络控制系统的稳定性性和神经网络控制系统的稳定性46神经网络的研究方向研究方向寻求可全局收敛的快速算法，满足实时和精度需要对于不同的研究对象，提出选择合适的神经网络结构，对于多层

30、前馈网络，提出网络层次、隐层节点的选择规则。神经网络理论 【俄】A.5、人工神经网络学习方法（3）权值和阀值的初值选取对结果会有很大的影响，不同的初值会使学习得到的BP网络的权值和阀值也不同，尽管它们都能满足给定的精度。学习速度慢，训练时间长限制了实时应用，尤其在控制领域中适宜组成快速实时自适应控制系统：并行分布控制、智能鲁棒控制等输入 输出Minsky的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。网络结构不易优化，特别是隐层节点数目的选取常常带有盲目性。对于一个特定的输入X，竞争

31、层的所有p个神经元均有输出响应，其中响应值最大的神经元为在竞争中获胜的神经元。正切S(Sigmoid)形激活函数输入 输出图7 负荷建模用BP网络结构（Y=P或Q）（4）网络的隐层节点个数选择尚无理论指导，而是根据经验选取。2秒三相重合闸重合成功，此时取k=20%。（6）训练方法：最速下降法、动量BP法、学习率可变算法、弹性BP法、变梯度算法、线性搜索路径、拟牛顿法、LM(Levenberg-Marquardt)算法图7 负荷建模用BP网络结构（Y=P或Q）为提高学习效率，增加一个态势项。输入 输出（4）网络的隐层节点个数选择尚无理论指导，而是根据经验选取。采用Nguyen-Widrow方法对

32、网络层进行初始化47过渡阶段（过渡阶段（1970-19861970-1986）5 5、7070年代，低谷。年代，低谷。M.Minsky M.Minsky的论点极大地影响了的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。的研究处于低潮。6 6、Hopfield Hopfield 于于19821982年和年和19841984年提出年提出HopfieldHopfie

33、ld神神经网络模型，引入网络能量函数的概念，开创了经网络模型，引入网络能量函数的概念，开创了神经网络用于联想记忆和优化计算的新途径。神经网络用于联想记忆和优化计算的新途径。K.Fukushima K.Fukushima等提出神经认知机网络理论等提出神经认知机网络理论。7 7、1986 Rumelhart1986 Rumelhart等人提出了等人提出了BP BP 网络。网络。19861986年年进行认知微观结构地研究，提出了并行分布处理进行认知微观结构地研究，提出了并行分布处理的理论的理论(74(74年，年，WerbosWerbos博士论文提出博士论文提出)8 8、1987 Kohonen198

34、7 Kohonen提出自组织映射理论。提出自组织映射理论。算法的主要思想BP网络是一种正向的、各层相互全连接的网络。正向传播：输入信号要经过输入层，向前传递给隐层节点，经过激发函数作用后，把隐层节点的输出传递到输出节点，再经激发函数后给出输出结果。误差反向传播：如果输出层得不到期望结果，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经网络的权值，使过程的输出和神经网络模型的输出之间误差最小为止。48BP算法过程（1）信息的正向传播各层神经元的输入输出关系输入层第i个节点输入 输出隐层第j个节点输入 输出输出层第k个节点输入 输出491Miiiinetx122tan()11Mii

35、iiixasig nete1Njjiijinetw a()jjaf net1Lkkjjkjnetw a()kkyf net反向误差传播公式50(1)()kjkjkkjwkwka 输出层：(1)()kkkpkkyyyy输出层反传误差信号：隐层反传误差信号：1(1)Ljjjkkjkaaw隐层：对sigmoid函数有：(1)()jijijjiwkwka 为提高学习效率，增加一个态势项。其中为惯性因子，其作用是引入权值修正惯性项，减轻振荡效应，加快学习速度。()(1)kkjkjwkwk()(1)jjijiwkwk51BP网络设计问题：（1）网络层数理论证明：在不限定隐层节点数情况下，两层（只有一个隐层

36、）的BP网络可实现任意非线性映射。选择时隐层最多不要超过2层。（2）输入层节点数n：由输入向量的维数决定。（3）输出层节点数m：由输出向量维数决定。（4）隐层节点数n1：多为凭经验或尝试而定，还没有完善的理论证明。一般可参考一下经验公式：（5）激活函数：LogSig函数;TanSig函数;线性函数Pureline（6）训练方法：最速下降法、动量BP法、学习率可变算法、弹性BP法、变梯度算法、线性搜索路径、拟牛顿法、LM(Levenberg-Marquardt)算法amnn1nn2log1a为110的一个数适合数据压缩Matlab工具箱函 数 名 称功 能Newff建立一个前向BP网络Init对

37、神经网络的参数进行初始化Initlay对神经网络逐层进行初始化initnw采用Nguyen-Widrow方法对网络层进行初始化rands对权值和阈值进行随机初始化Purelin纯线性激活函数Tansig正切S(Sigmoid)形激活函数Logsig对数S(Sigmoid)形激活函数Train对神经网络进行训练trainlm利用Levenberg-Marquardt反向传播算法对网络进行训练mse均方误差函数Sim对神经网络进行仿真Premnmx数据预处理函数：把数据归一化到1和1之间Postmnmx数据后处理函数：恢复被函数premnmx归一化的数据52负荷参数辨识53 EDLESL等效动态负

38、荷等效静态负荷负荷母线(),(1),(),(),(1),(),)0F Y t Y tY tn U t U tU tn(),(1),(),(),(1),()f Y t Y tY tn U t U tU tn112113212.P(t)P(t-1)f(t-2)训练样本集选为，由动静组成比例为0.3、0.7、0.05、0.95、0.5时的仿真数据组成 选定0.8、0.2、0.6和0.4的数据组成测试样本集 正切S(Sigmoid)形激活函数输入 输出电子元器件：纳秒量级 10-96、Hopfield 于1982年和1984年提出Hopfield神经网络模型，引入网络能量函数的概念，开创了神经网络用于

39、联想记忆和优化计算的新途径。输入 输出BP网络是一种正向的、各层相互全连接的网络。对神经网络逐层进行初始化误差反向传播：如果输出层得不到期望结果，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经网络的权值，使过程的输出和神经网络模型的输出之间误差最小为止。神经网络理论 【俄】A.对于不同的研究对象，提出选择合适的神经网络结构，对于多层前馈网络，提出网络层次、隐层节点的选择规则。另外，作为一个非结构模型，可省去一些模型结构选择方面的问题。（1）信息的正向传播各层神经元的输入输出关系图 3 BP网络结构示意图输入 输出神经细胞：毫秒量级 10-3BP网络结构选为351，学习速度=0

40、.（LAC的竞争机理、良心机理）适宜组成快速实时自适应控制系统：并行分布控制、智能鲁棒控制等（2）网络权值调整规则2、1949年 Hebb 研究大脑神经细胞、学习及条件反射提出了Hebbian规则（从心理学角度）对数S(Sigmoid)形激活函数（5）激活函数：LogSig函数;TanSig函数;线性函数Pureline输入 输出BP网络是一种正向的、各层相互全连接的网络。选择时隐层最多不要超过2层。基本信息：兴奋或抑制。图 典型BP网络误差变化曲线.过渡阶段（1970-1986）3、计算各层的输出，完成前向过程：输入 输出神经网络是一个非线性动力学系统，特色：分布式存储和并行协调。初创期（1

41、943-1969）3、计算各层的输出，完成前向过程：8、1987 Kohonen提出自组织映射理论。Papert证明了感知器的局限性和多层感知器还没有找到有效的计算方法（5）从数学上看，BP算法是一个非线性的优化问题，这就不可避免地存在局部最小问题。对神经网络的参数进行初始化6、学习次数达到给定限值，则可保存网络并退出，图9 启村线实测与拟合曲线06秒该条线路三相短路，0.54神经网络的研究方向问题存在局部极小。造成网络的局部收敛，影响系统存在局部极小。造成网络的局部收敛，影响系统的精度的精度学习速度慢，训练时间长限制了实时应用，尤其学习速度慢，训练时间长限制了实时应用，尤其在控制领域中在控制领域中理想的训练样本提取困难，影响了网络的训练速理想的训练样本提取困难，影响了网络的训练速度和质量度和质量网络结构不易优化，特别是隐层节点数目的选取网络结构不易优化，特别是隐层节点数目的选取常常带有盲目性。常常带有盲目性。理论上还没有完全解决神经网络学习算法的收敛理论上还没有完全解决神经网络学习算法的收敛性和神经网络控制系统的稳定性性和神经网络控制系统的稳定性