故障网络故障诊断

第33卷第9期控制与决策Vol.
33No.
92018年9月ControlandDecisionSep.
2018文章编号:1001-0920(2018)09-1662-05DOI:10.
13195/j.
kzyjc.
2017.
0597基于DropOut降噪自编码的磨矿系统故障诊断曲星宇1,2,3,曾鹏1,2,徐承成4,付东东4(1.
中国科学院沈阳自动化研究所工业信息学重点实验室,沈阳110016;2.
中国科学院大学,北京100049;3.
北方重工集团有限公司,沈阳110860;4.
东北大学信息科学与工程学院,沈阳110004)摘要:磨矿系统的故障诊断主要依靠工人的经验,这为故障诊断增加了大量不确定性.
此外,磨矿系统的数据较为复杂,不仅工人难以对故障的发生进行准确判断,而且传统机器学习算法也由于数据的线性不可分而表现不佳.
为了解决线性不可分问题,使用神经网络进行故障分类;面对故障数据的高复杂度,为提高神经网络的表达能力,使用自动编码器增加网络深度;为减弱深层网络带来的过拟合现象,引入DropOut降噪自编码.
最后进行实验验证,实验结果表明,DropOut降噪自编码网络对于故障的分类准确率可达到90.
4%.
关键词:故障诊断;自动编码器;DropOut;降噪自编码;Softmax分类器;深度学习中图分类号:TP273文献标志码:ADropOutdenoisingautoencoder-basedfaultdiagnosisforgrindingsystemQUXing-yu1,2,3,ZENGPeng1,2,XUCheng-cheng4,FUDong-dong4(1.
KeyLaboratoryofIndustrialInformatics,ShenyangInstituteofAutomationChineseAcademyofSciences,Shenyang110016,China;2.
UniversityofChineseAcademyofSciences,Beijing100049,China;3.
NorthernHeavyIndustriesGroupCoLtd,Shenyang110860,China;4.
CollegeofInformationScienceandEngineering,NortheasternUniversity,Shenyang110004,China)Abstract:Thecurrentfaultdiagnosisofthegrindingsystemmainlyreliesontheexperienceoftheworkers,whichaddsalotofuncertaintytothefaultdiagnosis.
Inaddition,thegrindingsystemdataistoocomplex,whichmakesithardfortheworkerstojudge,andbringsaboutpoorperformancefortraditionalmachinelearningalgorithmsduetothelinearindivisiblity.
Inordertosolvetheproblemoflinearindivisibility,weuseneuralnetworkforfaultclassication.
Infaceofthehighcomplexityoffaultdata,weuseautoencodertoincreasenetworkdepthinordertoimprovetheexpressionabilityofneuralnetwork.
Toreducetheover-ttingbroughtbydeepnetwork,weintroduceDropOutanddenoisingautoencoder.
Finally,theexperimetalresultsshowthattheDropOutdenoisingautoencoder(DDA)canmaketheaccruacyrateofthefaultclassicationbe90.
4%faultclassication.
Keywords:faultdiagnosis;autoencoder;DropOut;denoisingautoencoder;Softmaxclassier;deeplearning0引言磨矿过程是选矿厂生产过程的最重要环节之一,其主要任务是将矿石经过物理的研磨和分级,使有用矿物与脉石单体解离,为后续的选别作业创造条件.
磨矿过程是典型的流程工业过程,生产过程缓慢、滞后时间长,其机理复杂、影响因素多,例如给矿量、给水量、原矿性质及装球量等随机变化及各种外界干扰因素,往往造成磨矿过程工作不稳定.
现有磨矿分级过程核心设备球磨机的运行监控还仅仅停留在对数据的显示和存储上,没有完整的故障诊断系统为设备的稳定运行保驾护航,根本原因在于人员因素和技术因素.
矿山环境大多恶劣偏僻,难以吸引专业技术人员,而故障诊断的基础是通过操作人员的经验积累和人工判断来实现的,而人为控制过程由于受到种种外界条件的干扰,会对控制结果产生直接或间接的影响.
因此,对磨矿系统工作过程实施故障智能诊断显得尤为重要.
随着工业生产指标的不断提高,故障诊断技术也得到了一定程度的发展,就实现方法角度而言,故障诊断方法可以分成两大类:基于数学模型的故障诊断方法、基于人工智能的故障诊断方法.
其中基于数学模型的故障诊断方法有如下几种:文献[1]提出了收稿日期:2017-05-15;修回日期:2017-08-25.
责任编委:魏家琨.
作者简介:曲星宇(1984),男,博士生,从事大型工业设备自动控制、网络控制系统的研究;曾鹏(1976),男,研究员,博士生导师,从事无线传感器网络、工业无线通信等研究.
通讯作者.
E-mail:quxingyu_qxy@163.
com第9期曲星宇等:基于DropOut降噪自编码的磨矿系统故障诊断1663具有复杂数据特性的工业过程的多元统计监视方法,并分别讨论了基于数据和基于知识方法进行故障诊断的优势、进展、适用范围及两者结合的可能;文献[2]提出了利用未知输入观测器与著名的Beard故障检测滤波器结合的有效故障诊断方法,主要是通过观测器估计系统输出,然后将它与输出的测量值作比较从中获得故障信息.
基于数学模型的故障诊断方法对于系统的数学模型线性度有很大的依赖性,导致其有很大的局限性,而近些年出现的基于人工智能的故障诊断方法可以很好地弥补这一缺点.
基于神经网络的人工智能型诊断方法将某一问题的若干知识表示在同一网络中,通用性高,便于实现并行联想推理.
文献[3]采用多层感知器神经网络与系统辨识相结合的方法,运用Matlab系统辨识工具箱和神经网络工具箱,提出了由线性模型与非线性补偿模型组成的混合模型结构的精矿品位预报方法,建立了精矿品位预报模型.
传统的神经网络模型的优点是分类的准确度高,有较强的鲁棒性和容错能力,能够处理复杂的非线性函数并充分逼近复杂的非线性关系,并且能发现不同输入间的依赖关系;缺点是需要大量的参数,学习过程无法观察且学习时间长.
文献[4]基于自动编码器容易受噪声干扰而拟合噪声信息,导致过拟合的特点,通过在训练过程中随机将节点的连接权变为0的方式引入噪声,提出了降噪自编码,显著地提高了分类器的性能,以无监督的方式在一些情况下超越了深度信念网络.
文献[5-6]引入了DropOut技术,通过在训练过程中随机丢弃节点,使用了不同的"稀疏"网络进行训练.
在测试时,通过简单地使用具有较小权重的单个无连网的网络来估计所有这些稀疏网络的预测的平均效果,这显然减少了过度拟合并对其他正则化方法有着重大改进,最终该方法在图像识别、语音分类等领域都实现了最先进的效果.
文献[7]提出了基于深度网络的电力变压器故障诊断方法,工程实例测试结果表明,该方法正确可行,诊断性能优于三比值、神经网络和支持向量机的方法,适用于电力变压器的故障诊断.
综上所述,上述各方法均有其优缺点和其各自的适用性.
深度学习可以较好地拟合数据,但对数据量的需求过大,数据量不足会导致严重的过拟合.
这正适用于球磨机数据的特点:大数据、多变量、强耦合和大惯性.
本文采用Autoencoder与Softmax结合的深度学习算法,加入降噪与DropOut来实现对大数据的分析研究并预测故障类型.
使用自动编码器对数据进行压缩,可以解决高维数据的处理压力.
通过实验表明,引入降噪与DropOut可以显著降低过拟合、提高网络泛化能力.
本文中神经元网络和自编码网络层数及神经元数量为经过多次实验得到,方法为先使用3层网络,逐个增加隐藏层单元节点数量,通过3-fold方法交叉检验进行调优.
当准确率不再上升时以当前网络结构为基础增加网络层数,继续实验,直到准确率不再上升为止.
使用这种方法可以获得使网络分类最有效的最小网络结构.
1基于BP网络进行故障检测1.
1数据与处理及分析本文依托V型磨矿系统岗位记录提供的数据集,通过对数据集的分析实现对磨矿系中所出现的故障进行预测.
数据集的形式为每隔1h系统在采集点(温度、压力、声音、振动等)所采集到的数据,共计1024h,30种测量指标.
在数据预处理过程中,首先剔除无效(即数值并不改变的)数据,数据集由30维下降为24维.
对于数据集中的缺失数据,本文填入缺失数据点前后5h数据的均值.
磨矿生产过程中的故障一般分为磨矿设备(如球磨机)的故障和生产工艺故障(如物料输入输出的失衡等).
本文主要针对项目所给数据集中的故障进行分析,最终的目的是要对故障进行诊断,因此,这些故障的类型被看作标签(Label).
对于这些数据的表征,本文采用"One-hot"编码,标签编码如表1所示.
表1故障原因及表征方法故障现象故障原因故障表征正常无10000000给矿压力低进料端矿箱漏矿01000000给矿压力增大旋流器穿孔00100000主电机电流低,离合器气罐压力低气缸故障00010000主电机前后轴瓦、油箱温度高,高压供油压力低稀油站冷却水阀门损坏00001000主轴瓦给料右温度上升,供油压力给料右下降油压低,轴瓦温度高00000100主轴瓦排料右温度升高,供油流量排料端降低流量低,轴瓦温度升高00000010主电机温度高油温高,油压低000000011664控制与决策第33卷由表1可以看出,故障共7类,加上无故障共8种,其中的几类有较强的相关性,不易辨识.
通过分析数据发现:1024组数据中有877种为无故障,147种为有故障(严重的分类不均衡).
因此,分类器的正确率不宜作为评判指标.
这里选择其中的两维特征分析,如图1所示.
图1第0.
1维特征分类1.
2BP网络的建立人工神经网络对数据的拟合能力较强,因此将神经网络技术应用于磨矿生产过程中的诊断,从而获得理想的诊断效果.
目前应用较多前馈型网络的是BP网络,其学习速度快,容易训练,逼近能力和分类能力强.
本文使用BP神经网络对磨矿中的故障进行诊断,诊断系统功能结构如图2所示.
图2磨矿神经网络故障诊断功能1.
3实验与结果分析采用1024*24维的整体数据集,划分为900*24维的数据作为训练样本集,剩下的124*24维数据作为测试集,通过验证可以防止网络过拟合.
当训练样本集输入到网络时,进行分批处理,即每次输入32*24维数据,训练好网络后保存其权重和阈值,再将测试集输入到训练好的网络中,从而验证网络的可靠性和诊断的准确率.
训练样本集输入后,网络的输出从大的层面上讲分为两类:1)有无故障;2)已经判断出有故障,并对有故障的数据进行进一步分析以判断故障类型.
本文中的故障辨识问题不是传统的分类问题,其存在着严重的分类不均衡问题.
在非均衡分类中的主要评价指标可以利用混淆矩阵给出,如表2所示.
表2混淆矩阵预测结果+11真实结果+1真正例(TP)伪反例(FN)1伪正例(FP)真反例(TN)本文中将有故障当作正例,没有故障当作反例,使用如下评价指标:1)错误率S1:S1=1TP+TNTP+FP+TN+FN.
(1)2)预测有故障正确率S2(正例正确率):S2=TPTP+FP.
(2)3)预测无故障正确率S3(反例正确率):第9期曲星宇等:基于DropOut降噪自编码的磨矿系统故障诊断1665S3=TNTN+FN.
(3)由于本问题的分类非常不均衡,错误率仅为一个参考评价指标.
对传统的BP神经网络进行实验验证.
本文采用的神经元网络激活函数为Sigmoid函数,节点规模为24→100→8,实验结果如表3所示.
表3BP神经网络实验结果预测结果有故障无故障真实结果有故障2124无故障2455在本例中,预测有故障的正确率为46.
7%,无故障的正确率为69.
6%,错误率为38.
7%.
可以看出,如果对输入的特征向量不作任何特征变化就输入到神经网络中,网络在有无故障的辨识正确率方面表现都比较差.
这也进一步说明传统BP神经网络不适用于高维输入的非均衡分类问题.
2原始自动编码器本文中的24维训练样本对于神经网络而言维度过高,训练困难,因此采取特征压缩技术对数据进行无监督地特征提取.
为了解决传统BP神经网络对高维输入特征向量辨识能力差的问题,在特征向量输入网络之前用自动编码器先进行特征的进一步提取,并将提取到的特征进行非线性变换.
在自动编码器网络后面分别级联传统BP网络或Softmax分类器.
自编码神经网络是一种无监督学习算法,以神经元网络的层状结构为基础,在训练时让其输出值等于输入值,通过对隐藏层进行稀疏性限制或限制隐藏层的规模来达到特征压缩的效果.
本文建立的编码网络结构为24→150→8→150→24,各层神经元的激活函数选为RELU函数.
训练完成后取出自动编码器结构为24→150→8的前一半作为编码器,输出层接一个Softmax分类器就形成了结构为24→150→8→8的A-S分类器网络.
训练算法为L-BFGS(Limited-memoryBFGS),初始学习率为0.
01,目标函数为使得"交叉熵"最小.
2.
1实验网络的建立在进行实验时,选择其中909组数据作为训练样本集,余下的115组数据作为测试集进行验证.
在将24维特征向量输入网络之前,利用自编码网络对其进行特征提取,将特征降低为8维.
训练完自动编码器之后,在隐藏层特征之后加入Softmax分类器,得到的最终分类网络结构为24→150→24→8.
2.
2实验结果将表4中的数据代入式(1)(3),可以得到A-S深度学习网络预测有故障的正确率为82.
2%,预测无故障的正确率为88.
5%,而错误率降低为13.
9%.
表4A-S实验结果预测结果有故障无故障真实结果有故障378无故障862由上述结果可知,AutoencodenSoftmax(A-S)深度学习网络在预测有无故障正确率方面明显优于前面两种网络,此外还大大降低了错误率.
由此可以看出,该深度学习网络对非均衡分类问题有着良好的分类效果.
3引入DropOut与降噪自编码传统自动编码器对数据的恢复效果一般,而且使用测试集测试自动编码器编码时,编码效果明显弱于训练集.
这是因为自动编码器对噪声数据存在一定的过拟合.
为了解决这一问题,引入DropOut和降噪自编码技术.
为了便于对比,网络规模和结构与上一章的自动编码器一致.
3.
1DropOutDropOut是一种通用的训练神经网络并能明显降低过拟合的方法.
在训练过程中,将神经网络中的神经元按照一定概率P(d)丢弃,训练这些稀疏的模型,并去掉权值惩罚项,将其替换为限制权值的截断上限.
因为噪声通常表现为高频干扰,用这种方法既可以对高频干扰的拟合钳位,又可以以较低成本实现模型融合的效果.
在测试过程中,将输入校正为1P(d)倍,使得神经网络传输的数据均值不变.
3.
2降噪自编码降噪自编码通过将输入数据加入随机干扰,或将输入数据的某些维度随机置零进行训练的方法来增强神经网络对噪声的鲁棒性.
训练时要求即便加入了干扰,仍然可以还原输入.
通过这种方法可以使自动编码器无监督地学习到更加鲁棒的高层特征,克服噪声的干扰,显著减少神经网络对噪声的拟合.
在自动编码器训练时,随机对编码器(即输入层)的输入元素置0,而解码器要求能够重建原始输入(即未置0的输入)信息.
该方法可以大幅消除噪声造成的影响,减弱过拟合.
1666控制与决策第33卷3.
3实验与结果分析在对改进自动编码器进行实验时,选择900组数据作为训练样本集,余下的124组数据作为测试集.
为方便比较,使用与之前的自动编码器相同的网络结构,DropOut概率选择0.
5,在训练编码器时加入;降噪过程中随机丢弃单元时的每个节点被丢弃的概率为0.
1.
3.
3.
1DropOut自动编码器实验结果表5DropOut自动编码器实验结果预测结果有故障无故障真实结果有故障396无故障763由表5可以计算出,加入DropOut之后网络对于有故障预测的正确率为88.
7%,而对于无故障预测的正确率为84.
8%,错误率也下降为11.
3%.
可以看出,使用DropOut之后可以显著减少过拟合,对样本进行正确拟合后,泛化能力得到显著改善.
3.
3.
2DropOut降噪自编码实验结果表6DropOut降噪自编码实验结果预测结果有故障无故障真实结果有故障396无故障565利用表6中的数据可以得到DropOut降噪自编码网络预测有故障的正确率为90.
4%,预测无故障的正确率为88.
6%,而错误率降低为9.
6%.
经过降噪自编码与DropOut的共同作用,完善地解决了之前容易过拟合的困难,使准确率达到工业界先进水平.
4结论本文使用DropOut降噪自编码,在A-S深度学习网络的基础上,显著降低了分类错误率,达到工业界最先进的水平.
这种方法避免了传统基于神经网络的方法容易陷入过拟合的困境,对数据进行深层特征提取,实现了数据降噪,提高了分类神经网络的鲁棒性,将为今后的非传统分类问题提供一个理论依据,并将对深度学习实现故障辨识领域产生深远影响.
参考文献(References)[1]刘强,柴天佑,秦泗钊,等.
基于数据和知识的工业过程监视及故障诊断综述[J].
控制与决策,2010,25(6):801-807.
(LiuQ,ChaiTY,QinSJ,etal.
Progressofdata-drivenandknowledge-drivenprocessmonitoringandfaultdiagnosisforindustryprocess[J].
ControlandDecision,2010,25(6):801-807.
)[2]DarbyML,NikolaouM,JonesJ,etal.
RTO:Anoverviewandassessmentofcurrentpractice[J].
JofProcessControl,2011,21(6):874-884.
[3]GarridoJ,VázquezF,MorillaF.
Anextendedapproachofinverteddecoupling[J].
JofProcessControl,2011,21(1):55–68.
[4]VincentP,LarochelleH,LajoieI,etal.
Stackeddenoisingautoencoders:Learningusefulrepresentationsinadeepnetworkwithalocaldenoisingcriterion[J].
JofMachineLearningResearch,2010,11(12):3371–3408.
[5]SrivastavaN,HintonGE,KrizhevskyA,etal.
Dropout:Asimplewaytopreventneuralnetworksfromovertting[J].
JofMachineLearningResearch,2014,15(1):1929–1958.
[6]HintonGE,SrivastavaN,KrizhevskyA,etal.
Improvingneuralnetworksbypreventingco-adaptationoffeaturedetectors[J].
arXivpreprintarXiv:1207.
0580,2012.
[7]石鑫,朱永利,宁晓光,等.
基于深度自编码网络的电力变压器故障诊断[J].
电力自动化设备,2016,36(5):122–126.
(ShiX,ZhuYL,NingXG,etal.
Transformerfaultdiagnosisbasedondeepauto-encodernetwork[J].
ElectricPowerAutomationEquipment,2016,36(5):122–126.
)(责任编辑:闫妍)