第十二章 模拟退火算法与人工免疫算法简介 .ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《第十二章 模拟退火算法与人工免疫算法简介 .ppt》由用户(hyngb9260)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第十二章 模拟退火算法与人工免疫算法简介 第十二 模拟 退火 算法 人工免疫 简介
- 资源描述:
-
1、第十二章第十二章 模拟退火算法与人工与人工免疫算法简介免疫算法简介 本章对目前常用的几种智能优化计算算法作简单介绍,以使读者对它们有个基本认识。内容包括神经网络、遗传算法、模拟退火算法和神经网络混合优化学习策略。12.1 模拟退火算法 模拟退火算法(simulated annealing,简称SA)的思想最早是由Metropolis等(1953)提出的,1983年Kirkpatrick等将其用于组合优化。SA算法是基于Monte Carlo迭代求解策略的一种随机寻优算法,其出发点是基于物理中固体物质的退火过程与一般组合优化问题之间的相似性。模拟退火算法 模拟退火算法在某一初温下,伴随温度参数的
2、不断下降,结合概率突跳特性在解空间中随机寻找目标函数的全局最优解,即在局部优解能概率性地跳出并最终趋于全局最优解。模拟退火算法是一种通用的优化算法,目前已在工程中得到了广泛应用。模拟退火算法12.1.1 物理退火过程和Metropolis准则简单而言,物理退火过程由以下三部分组成:加温过程。其目的是增强粒子的热运动,使其偏离平衡位置。当温度足够高时,固体将溶解为液体,从而消除系统原先可能存在的非均匀态,使随后进行的冷却过程以某一平衡态为起点。溶解过程与系统的熵增过程联系,系统能量也随温度的升高而增大。模拟退火算法等温过程。物理学的知识告诉我们,对于与周围环境交换热量而温度不变的封闭系统,系统状
3、态的自发变化总是朝自由能减少的方向进行,当自由能达到最小时,系统达到平衡态。冷却过程。目的是使粒子的热运动减弱并渐趋有序,系统能量逐渐下降,从而得到低能的晶体结构。模拟退火算法Metropolis等在1953年提出了重要性采样法,即以概率接受新状态。具体而言,在温度t,由当前状态i产生新状态j,两者的能量分别为 ,若 则接受新状态j为当前状态;否则,若概率 大于 区间内的随机数则仍旧接受新状态j为当前状态,若不成立则保留i为当前状态,其中k为Boltzmann常数。jiEE 和ijEE/)(expktEEpijr)1,0 模拟退火算法这种重要性采样过程在高温下可接受与当前状态能量差较大的新状态
4、,而在低温下基本只接受与当前能量差较小的新状态,而且当温度趋于零时,就不能接受比当前状态能量高的新状态。这种接受准则通常称为Metropolis准则。模拟退火算法12.1.2 模拟退火算法的基本思想和步骤1983年Kirkpatrick等意识到组合优化与物理退火的相似性,并受到Metropolis准则的启迪,提出了模拟退火算法。模拟退火算法是基于Monte Carlo 迭代求解策略的一种随机寻优算法,其出发点是基于物理退火过程与组合优化之间的相似性,SA由某一较高初温开始,利用具有概率突跳特性的Metropolis抽样策略在解空间中进行随机搜索,伴随温度的不断下降重复抽样过程,最终得到问题的全
5、局最优解。模拟退火算法标准模拟退火算法的一般步骤可描述如下:给定初温 ,随机产生初始状态 ,令 ;Repeat:Repeat 产生新状态 ;0tt 0ss 0k)(sGenetesjjjssrandomsCsCif 1,0)()(exp,1min 模拟退火算法 Until 抽样稳定准则满足;退温 ,并令 ;Until 算法终止准则满足;输出算法搜索结果。)(1kktupdatet1 kk模拟退火算法12.1.3 模拟退火算法关键参数和操作的设定从算法流程上看,模拟退火算法包括三函数两准则,即状态产生函数、状态接受函数、温度更新函数、内循环终止准则和外循环终止准则,这些环节的设计将决定SA算法的
6、优化性能。此外,初温的选择对SA算法性能也有很大影响。模拟退火算法状态产生函数设计状态产生函数(邻域函数)的出发点应该是尽可能保证产生的候选解遍布全部的解空间。通常,状态产生函数由两部分组成,即产生候选解的方式和候选解产生的概率分布。模拟退火算法状态接受函数状态接受函数一般以概率的方式给出,不同接受函数的差别主要在于接受概率的形式不同。设计状态接受概率,应该遵循以下原则:在固定温度下,接受使目标函数值下降的候选解的概率要大于使目标值上升的候选解的概率;模拟退火算法随温度的下降,接受使目标函数值上升的解的概率要逐渐减小;当温度趋于零时,只能接受目标函数值下降的解。状态接受函数的引入是SA算法实现
7、全局搜索的最关键的因素,SA算法中通常采用min1,exp(-C/t)作为状态接受函数。模拟退火算法初温初始温度、温度更新函数、内循环终止准则和外循环终止准则通常被称为退火历程(annealing schedule)。实验表明,初温越大,获得高质量解的几率越大,但花费的计算时间将增加。因此,初温的确定应折衷考虑优化质量和优化效率,常用方法包括:模拟退火算法均匀抽样一组状态,以各状态目标值的方差为初温。随机产生一组状态,确定两两状态间的最大目标值差 ,然后依据差值,利用一定的函数确定初温。譬如 ,其中 为初始接受概率利用经验公式给出。|maxrptln/0rp模拟退火算法温度更新函数温度更新函数
8、,即温度的下降方式,用于在外循环中修改温度值。目前,最常用的温度更新函数为指数退温函数,即,其中且其大小可以不断变化。模拟退火算法内循环终止准则内循环终止准则,或称Metropolis抽样稳定准则,用于决定在各温度下产生候选解的数目。在非时齐SA算法理论中,由于在每个温度下只产生一个或少量候选解,所以不存在选择内循环终止准则的问题。模拟退火算法而在时齐SA算法理论中,收敛条件要求在每个温度下产生候选解的数目趋于无穷大,以使相应的马氏链达到平稳概率分布,显然在实际应用算法时这是无法实现的。常用的抽样准则包括:检验目标函数的均值是否稳定;连续若干步的目标值变化较小;按一定的步数抽样。模拟退火算法外
9、循环终止准则外循环终止准则,即算法终止准则,用于决定算法何时结束。设置温度终值是一种简单的方法。SA算法的收敛性理论中要求温度终值趋于零,这显然不合实际。通常的做法是:模拟退火算法设置终止温度的阈值;设置外循环迭代次数;算法收敛到的最优值连续若干步保持不变;检验系统熵是否稳定。12.1.4 神经网络权值的混合优化学习策略 鉴于GA、SA的全局优化特性和通用性,即优化过程无需导数信息,我们可以基于实数编码构造BPSA、BPGA混合优化学习策略,以提高前向网络学习的速度、精度,特别是避免陷入局部极小的能力。12.1.4 神经网络权值的混合优化学习策略4.1 BPSA混合学习策略在BPSA混合学习策
10、略中,采用以BP为主框架,并在学习过程中引入SA策略。这样做,既利用了基于梯度下降的有指导学习来提高局部搜索性能,也利用了SA的概率突跳性来实现最终的全局收敛,从而可提高学习速度和精度。BP-SA混合学习策略的算法步骤如下:神经网络权值的混合优化学习策略 随机产生初始权值 ,确定初温 ,令 利用BP计算 。利用SA进行搜索:利用SA状态产生函数产生新权值 ,其中 为随机扰动。)0(1t1k)(k)(k)()(kk)1,1(神经网络权值的混合优化学习策略 计算 的目标函数值与 的目标函数值之差 。计算接受概率 。若 ,则取 ;否则 保持不变。)(k)(kC)/exp(,1minkrtCP)1,0
11、randomPr)()(kk)(k神经网络权值的混合优化学习策略(4)利用退温函数 进行退温,其中 为退温速率。若 对应的目标函数满足要求精度 ,则终止算法并输出结果;否则,令 ,转步骤。kkvtt1)1,0(v)(k1 kk神经网络权值的混合优化学习策略 4.2 BPGA混合学习策略神经网络的连接权包含着神经网络系统的全部知识。反向传播的BP神经网络(back propagation network)的学习算法是基于梯度下降的,因而具有以下缺点:网络训练速度慢、容易陷入局部极小值、全局搜索能力差等。而遗传算法的搜索遍及整个解空间,因此容易得到全局最优解,而且遗传算法不要求目标函数连续、可微,
12、甚至不要求目标函数有显函数的形式,只要求问题可计算。神经网络权值的混合优化学习策略因此,将擅长全局搜索的遗传算法和局部寻优能力较强的BP算法结合起来,可以避免陷入局部极小值,提高算法收敛速度,很快找到问题的全局最优解。BP算法和遗传算法结合训练神经网络权重的主要步骤为:神经网络权值的混合优化学习策略(1)以神经网络节点之间的连接权重和节点的阈值为参数,采用实数编码。采用三层神经网络,设输入节点数为p,输出节点数为q,隐层节点数为r,则编码长度n为:(10-4-1)qrrpn)1()1(神经网络权值的混合优化学习策略 (2)设定神经网络节点连接权重的取值范围 ,产生相应范围的均匀分布随机数赋给基
13、因值,产生初始群体;(3)对群体中个体进行评价。将个体解码赋值给相应的连接权(包括节点阈值),引入学习样本计算出学习误差E,个体的适应度定义为:.(10-4-2)Ef11,maxminxx神经网络权值的混合优化学习策略(4)对群体中的个体执行遗传操作:选择操作。采用比例选择算子,若群体规模为M,则适应度为的个体被选中进入下一代的概率为:.(10-4-3)Miiiiffp1神经网络权值的混合优化学习策略 交叉操作。由于采用实数编码,故选择算术交叉算子。父代中的个体 和 以交叉概率 进行交叉操作,可产生的子代个体为:(10-4-4)和 (10-4-5)其中a为参数 。1X2Xcp211)1(Xaa
14、XX212)1(aXXaX)1,0(a神经网络权值的混合优化学习策略 变异操作。采用均匀变异算子。个体 的各个基因位以变异概率 发生变异,即按概率用 区间中的均匀分布随机数代替原有值。引入最优保留策略。iXmp,maxminxx神经网络权值的混合优化学习策略 判断满足遗传算法操作终止条件否?不满足则转步骤。否则转步骤。将遗传算法搜索的最优个体解码,赋值给神经网络权重(包括节点阈值),继续采用BP算法优化神经网络的权重和阈值。神经网络权值的混合优化学习策略4.3 GASA混合学习策略采用三层前馈网络,GA和SA结合训练神经网络权重的步骤如下:给定模拟退火初温 ,令 ;以神经网络节点之间的连接权重
15、和节点的阈值为参数,采用实数编码。采用三层神经网络,设输入节点数为p,输出节点数为q,隐层节点数为r,则编码长度n为:0t1k神经网络权值的混合优化学习策略 (10-4-6)设 定 神 经 网 络 节 点 连 接 权 重 的 取 值 范围 ,产生相应范围的均匀分布随机数赋给基因值,产生初始群体;对群体中个体进行评价。将个体解码赋值给相应的连接权(包括节点阈值),引入学习样本计算出学习误差E,个体的适应度定义为:.(10-4-7)qrrpn)1()1(,maxminxxEf11神经网络权值的混合优化学习策略 对群体中的个体执行遗传操作:选择操作。采用比例选择算子,若群体规模为M,则适应度为 的个
16、体 被选中进入下一代的概率为:.(10-4-8)ifiXMiiiiffp1神经网络权值的混合优化学习策略 交叉操作。由于采用实数编码,故选择算术交叉算子。父代中的个体 和 以交叉概率 进行交叉操作,可产生的子代个体为:(10-4-9)和 (10-4-10)其中a为参数 。1X2Xcp211)1(XaaXX212)1(aXXaX)1,0(a神经网络权值的混合优化学习策略 变异操作。采用均匀变异算子。个体 的各个基因位以变异概率 发生变异,即按概率 用区间 中的均匀分布随机数代替原有值。引入最优保留策略。对群体中每一个个体引入模拟退火操作:iXmpmp,maxminxx神经网络权值的混合优化学习策
17、略 利 用 S A 状 态 产 生 函 数 产 生 新 基 因值 ,其中 为随机扰动。计算 的目标函数值与 的目标函数值之差 。计算接受概率 。)(kg)()(kgkg)1,1()(kg)(kgC)/exp(,1minkrtCP神经网络权值的混合优化学习策略 若 ,则取 ;否则 保持不变。引入最优保留策略。利用退温函数 进行退温,其中 为退温速率。)1,0randomPr)()(kgkg)(kgkkvtt1)1,0(v神经网络权值的混合优化学习策略 判断满足遗传算法操作终止条件否?不满足则转步骤。否则转步骤。将遗传算法搜索的最优个体解码,赋值给神经网络权重(包括节点阈值)。二、人工免疫系统二、
18、人工免疫系统引言12免疫算法3典型的人工免疫系统ARTIS4基本免疫方法引言n人工免疫系统作为人工智能领域的重要分支,人工免疫系统作为人工智能领域的重要分支,同神经网络及遗传算法一样也是智能信息处同神经网络及遗传算法一样也是智能信息处理的重要手段,已经受到越来越多的关注。理的重要手段,已经受到越来越多的关注。n它通过类似于生物免疫系统的机能,构造具它通过类似于生物免疫系统的机能,构造具有动态性和自适应性的信息防御体系,以此有动态性和自适应性的信息防御体系,以此来抵制外部无用、有害信息的侵入,从而保来抵制外部无用、有害信息的侵入,从而保证接受信息的有效性与无害性。证接受信息的有效性与无害性。背景
19、O在生物科学领域,人们对进化、遗传和免疫等自然在生物科学领域,人们对进化、遗传和免疫等自然 现象现象已经进行了广泛而深入的研究已经进行了广泛而深入的研究;O进化算法是建立在模仿生物遗传与自然选择基础上的一进化算法是建立在模仿生物遗传与自然选择基础上的一种并行优化算法,其性能优异、应用广泛;种并行优化算法,其性能优异、应用广泛;O进化算子在为每个个体提供了进化机会的同时,也无可进化算子在为每个个体提供了进化机会的同时,也无可避免地产生了退化的可能;避免地产生了退化的可能;O大多数待求问题有可以利用的先验知识或特征信息,故大多数待求问题有可以利用的先验知识或特征信息,故可以利用这些信息来抑制进化过
展开阅读全文