粒子为什么网速慢

粒子群算法与神经网络的结合建模#李文婷,田建艳,吴锦**|1|李文婷|LIWenting|太原理工大学信息工程学院,太原030024|CollegeofInformationEngineering,taiyuanuniversityoftechnology,taiyuan030024|李文婷(1986-),女,硕士研究生,控制理论与控制工程|太原理工大学北区12号楼1320|030024|liwenting415@126.
com|0351-6011711|13111098139|2|田建艳|TIANJianyan|太原理工大学信息工程学院,太原030024|CollegeofInformationEngineering,taiyuanuniversityoftechnology,taiyuan030024|||||||3|吴锦|WUJin|太原理工大学信息工程学院,太原030024|CollegeofInformationEngineering,taiyuanuniversityoftechnology,taiyuan030024||||||粒子群算法与神经网络的结合建模|Themodelingofparticleswarmoptimizationcombinedwithneuralnetwork|基金项目:山西省自然科学基金资助项目(2010011022-3);山西省科技攻关项目(20080322010)(太原理工大学信息工程学院,太原030024)摘要:粒子群算法是一种基于群体智能的优化技术,该算法原理简单、易于实现.
本文利用粒子群算法优化神经网络的参数,提出了粒子群算法与神经网络相结合的建模方法.
为了提高基本粒子群算法的搜索性能,采用了基于外推技巧的引导型更新公式,同时,在粒子的搜索过程中,不断监测各个粒子的最优位置,多次没有变化并且距离优化目标太远时,粒子跳出当前位置继续搜索,避免陷入局部值.
最后使用改进后的粒子群神经网络算法对正弦函数进行拟合,仿真结果表明新的算法有更好的收敛性.

关键词:建模;粒子群算法;神经网络;外推技巧中图分类号:TP183ThemodelingofparticleswarmoptimizationcombinedwithneuralnetworkLIWenting,TIANJianyan,WUJin(CollegeofInformationEngineering,taiyuanuniversityoftechnology,taiyuan030024)Abstract:Particleswarmoptimizationisanoptimizationtechniquebasedonswarmintelligence,whichissimple,easytoimplement.
InthispaperamodelingmethodcombinedPSOalgorithmwithneuralnetworkisproposedbyusingparticleswarmoptimizationtooptimizeneuralnetworkparameters.
Toimproveparticleswarmoptimization'ssearchingperformance,aguidedupdatingformulaisadoptedbasedonextrapolationtechniques,meanwhile,theoptimallocationofeachparticleisconstantlymonitoredinthesearchingprocess,ifthelocationhasnotchangedconstantlyandnotclosetotheoptimaltarget,theparticlesjumpoutofthecurrentpositiontocontinuethesearchinginordertoavoidfallingintolocalvalues.
Finally,sinefunctionapproximationissimulatedbyusingtheimprovedPSO-NNalgorithm,theresultsshowthatthenewalgorithmhasbetterconvergence.
Keywords:modeling;particleswarmoptimization;neuralnetwork;extrapolationtechniques引言对实际系统的任何研究都不能脱离实际系统的数学模型,建立合适的模型是对实际系统进行控制的必要条件.
系统辨识是建模的一种方法,主要通过实际数据按照一定的准则建立可以体现系统特征的模型.
系统辨识从1962给出定义以后,经过研究者们的不断研究获得了长足的发展,近年来,随着智能控制理论研究的不断发展,成为现代系统辨识的有力补充.
其中,人工神经网络及应用的研究对于非线性系统辨识具有重要意义.

粒子群算法[1]是Kennedy和Eberhart于1995年首次提出的一种群体智能算法,它是模拟鸟类的觅食行为:在一定的搜索空间之内,鸟群分别根据自身的位置和其他鸟群的位置来不断调节自身的位置,直至找到食物所在地.
粒子群算法作为一种有效的优化工具,目前已经广泛应用于函数优化、神经网络训练、模糊系统、遗传算法等领域.

理论上BP神经网络可以逼近任何连续的非线性函数,但是有可能陷入局部最小值,而不能保证收敛到全局极小值.
因此,本文采用改进的粒子群算法与神经网络相结合,对神经网络的参数进行优化,使得建模过程快速收敛.

基本粒子群算法粒子群算法(ParticleSwarmOptimization,PSO)是一种基于群体智能理论的优化算法,将群体中的个体抽象为搜索空间中没有质量和体积的粒子,这些粒子在搜索空间中以一定的速度飞行,并根据粒子本身的飞行经验以及同伴的飞行经验对自己的飞行速度进行动态调整,即每个粒子通过统计迭代过程中自身的最优位置和群体的最优位置来不断地修正自己的速度大小和位置,从而将个体逐步移到较优的区域,并最终搜索、寻找到问题的最优解.

粒子群算法模型粒子群算法作为鸟群和现实问题之间的桥梁,模拟鸟群的寻优机制来解决实际的问题.
粒子群算法将需要优化的D个参数的所在范围作为D维搜索空间,D维搜索空间中有m个粒子,每个粒子由D维组成,代表解空间的一个候选解.
粒子群算法采用速度--位置搜索模型,其中第i个粒子的位置矢量是:,i=1,2,…m其速度矢量为:速度矢量决定粒子在搜索空间单位迭代次数的位移.
根据实际问题的寻优要求建立适应函数,通过将xi带入到适应函数得到的适应值来判定粒子搜索到的位置的优劣程度.
记第i个粒子搜索到的最优位置为,整个粒子群搜索到的最优位置记为.
粒子根据以下公式来更新其速度和位置:(1)其中,下标i=1,2…m,标识粒子;d=1,2…D,标识搜索空间;vid为第i个粒子飞行速度矢量的第d维分量;xid为第i个粒子位置矢量的第d维分量,学习因子c1,c2是非负常数,直接影响飞向自身最优位置和全局最优位置的程度,若太小,则粒子可能远离目标区域,若太大则会导致突然向目标区域飞去,或飞过目标区域.
合适的c1,c2可以加快收敛且不易陷入局部最优,通常令c1,c2=2[2],r1和r2是介于[0,1]之间的随机数.

由式(1)可知,粒子的速度更新公式主要由三项构成,在之前速度的基础上,第二项与粒子自身的飞行经验有关,表示粒子本身的思考,鼓励飞向自身曾经发现的最佳位置;第三项参照全局最有位置,代表粒子间的信息共享与合作,鼓励其飞向整个粒子群目前为止发现的最佳位置.

粒子群算法的实现步骤Step1初始化:设定粒子群的群体规模为m,在允许的范围内随机给定每个粒子的初始位置和速度,根据优化的目标定义适应函数.
计算初始状态每个粒子的适应度,定出每个粒子的最好位置pi和群体最优位置pg.

Step2根据公式更新粒子状态,包括速度和位置.
Step3评价粒子的优劣:对每个粒子计算适应值,如果其适应值好于其经过的最好位置pi,则用当前的位置取代pi.
Step4将所有粒子中最好的pg作为当前的最好位置pg.
Step5判断结束条件:未达到结束条件,转步骤2;否则结束.
迭代终止条件根据具体问题一般选为最大迭代次数或粒子群搜索到的最优位置满足预定最小适应阈值.
每一次执行操作时,所有的粒子同时进行,各个粒子的状态是不断更新的,不存在等待问题,随时都处于调整自身状态的过程中,直到最后找到最优位置,即食物所在地.
粒子群算法优化人工神经网络人工神经网络具有非线性映射能力强、自适应学习和并行处理信息的优点,在辨识系统时,人工神经网络可以逼近任意非线性映射,从而在给定算法的指导下学习,得到具有神经网络结构的正向模型或逆向模型:正向模型与辨识系统并联,用辨识系统与网络的输出误差来训练网络;逆向模型以系统的输出作为输入,用给定输入和网络输出的误差训练网络.
在神经网络辨识中,神经网络的确定需要依赖于网络的权值调整,而权值的优化调整需要根据某种算法来实现.
神经网络训练中对权值和阈值的优化是建模过程的重要研究内容.
对于目前普遍采用的BP算法虽然具有一定的推广能力,并且理论上证明可以逼近任意非线性映射,但是其存在学习速度慢、易陷入局部极小值等问题[3].

图1粒子群优化神经网络的流程图Fig.
1Theflowchartofparticleswarmoptimizationneuralnetwork粒子群算法收敛快、算法简单,将粒子群算法与BP神经网络相结合,利用粒子群算法的全局搜索能力训练神经网络的各项权值,可以大大提高神经网络的性能.
粒子群优化神经网络的流程如图1所示.
然而基本的粒子群算法后期搜索速度减慢,粒子趋向于同一化,同时无法继续优化收敛[4],因此必须对基本粒子群算法进行改进.
粒子群算法的改进在粒子群算法中,参数的优化主要依据粒子所搜到的个体极值点和全局极值点,个体极值点与全局极值点位于同一点的粒子无法从别的粒子身上学习,优化出现停滞,假如这时对应的只是一个局部最优解,那么算法就出现了早熟收敛现象.
在处理某些复杂问题时,算法容易出现早熟和局部收敛的问题,即在没有完成优化目标的前提下,所有粒子的个体最优位置重合.
为此,提出改进算法,在粒子优化的后期,当全局极值点多次没有变化时,粒子跳出当前位置,随机进入周围区域,保持粒子搜索的多样性.

此外,基于外推技巧[5]的改进粒子群算法可以更好的引导粒子群找到最优位置.
利用数学中可以证明的外推技巧,即对于某段连续函数来说,在某点附近一定存在比它更优的点,对粒子的位置更新加以引导,在粒子未达到最优点时,可以在它附近产生虚拟的更优点,从而提高算法的搜索效率,避免陷入到局部最优中.

引导型粒子群算法的公式如下所示:其中,k为调节系数.
图2基本PSO算法与基于外推技巧的PSO算法迭代过程Fig.
2TheiterativeprocessofbasicPSOalgorithmandPSOalgorithmbasedonextrapolationskill如图2所示,对基于外推技巧的粒子群算法进行仿真,与普通的粒子群算法相比较,可以看出随着迭代的进行,基于外推技巧的粒子群算法收敛到更小的误差.
粒子群优化神经网络的参数设定1998年,Shi和Eberhart在基本粒子群算法的基础上增加了惯性权重[6],粒子的速度公式更新为:惯性权重使粒子保持运动惯性,使其有扩展搜索空间的趋势.
如果=0,由于速度本身没有记忆性,只取决于粒子当前位置和其历史最好位置,所以,粒子群将收缩到当前的全局最好位置,更像一个局部算法;≠0,微粒有扩展搜索空间的趋势,即有全局搜索能力.
因此,对算法的优化性能有很大影响,对于较大的值有利于跳出局部极小点并且提高收敛速度,而较小的值有利于算法收敛精度.
对惯性权重的选择很多学者作了研究,提出了自适应调整惯性权重、模糊动态调节、基于进化因子的权重选择等方法[7].
对全局搜索,通常的好方法是在前期有较强的全局搜索能力,而在后期侧重于算法的局部搜索,为此可将设为随时间线性减小.

其中,为最大惯性权值系数,为最小惯性权值系数,为迭代次数,为迭代总数.
加速度系数c1、c2用于调整粒子的自身经验与社会经验在其运动中所起的作用,如果c1=0,则粒子没有认知能力;如果c2=0,粒子间没有社会信息共享,其算法变成一个多起点的随机搜索;如果c1=c2=0,粒子将一直以当前的速度飞行,直到到达边界.
较高的值导致粒子突然冲向或越过目标区域;低的值允许粒子在被拉回前在目标区域外徘徊,通常c1、c2的范围在0~4之间.

采用粒子群算法训练BP神经网络时,首先应将特定结构中所有需要优化的神经元间的连接权值和阀值编码成实数码串表示的个体.
神经网络中包含D个优化参数,则每个个体将由一个D维向量来表示:.
此时,个体结构中的每一个元素,即代表神经网络中的一个权值.

网络训练的目的是使得最终的网络的输出与实际输出的差值最小,因此以网络在训练集上产生的均方误差作为目标函数,构造如下的适应度函数,来计算个体的适应值.
式中:为神经网络计算实际输出;为目标输出;n为训练样本数;c为神经元输出个数.
仿真研究利用神经网络建立系统的模型,本质上是基于网络的逼近能力,即在训练的过程中逼近隐含的系统非线性关系.
本文采用两层神经网络完成正弦函数的逼近,并且选用粒子群算法来优化神经网络的权值.
选择粒子群规模m为30,最大迭代次数为100,、取2,仿真结果如图3所示.

图3基本的粒子群神经网络与改进后的粒子群神经网络迭代过程Fig.
3TheiterativeprocessofbasicPSO-NNalgorithmandmodifiedPSO-NNalgorithm结果表明,选用基于粒子群算法的神经网络对函数拟合具有较快的速度和较小的误差,粒子群算法通过改进后比基本的算法有更好的收敛性.
图4粒子群神经网络与BP神经网络的拟合曲线Fig.
4ThefittingcurvesofPSO-NNandBPneuralnetworkalgorithms通过BP神经网络、基于基本粒子群的神经网络和基于改进粒子群神经网络对正弦曲线的拟合图4可以看,改进后的粒子群神经网络与正弦曲线拟合最接近.
结论本文用粒子群算法训练神经网络的参数,克服了BP算法训练次数多、收敛速度慢的缺点,基本的粒子群算法参数简单,收敛速度快,但是在求解复杂问题时可能陷入局部极值,因此对基本的粒子群进行改进.
采用引导性的位置更新公式,每次在粒子附近找到比它更优的点,同时在粒子搜索过程不断监测避免粒子陷入局部极值,帮助粒子跳出更新迟缓的位置.
通过仿真软件对函数进行拟合,结果表明基于改进后的粒子群算法的神经网络有更好的收敛性.