检测ubuntu14.04

控制与决策ControlandDecision多目标小尺度车辆目标检测方法的研究柳长源1,王琪1,毕晓君2(1.
哈尔滨理工大学电气与电子工程学院,黑龙江哈尔滨150080;2.
哈尔滨工程大学信息与通信工程学院,黑龙江哈尔滨150001)摘要:车辆目标检测是智能交通系统中的重要环节,针对传统车辆目标检测方法效率低,小目标检测效果不好,漏检率高等问题,提出了一种基于改进的YOLOv3网络车辆目标检测算法.
为了提高了车辆检测的效率,利用轻量化模型MobileNetv2代替原YOLOv3中的特征提取网络,使得网络计算量相比原算法有所降低.
为了有效提高网络对小尺度车辆目标的检测能力,网络将由高到低不同尺度的特征层融合之后进行目标检测.
为了得到更丰富的语义特征信息,提高网络的预测能力,增加了特征增强模块.
同时针对车辆目标检测的特定应用,利用K-means方法对锚框重新聚类以满足车辆目标检测的特定需求.
结合以上的改进获得了车辆目标检测网络YOLOv3-M2,实验结果表明,与YOLOv3相比,改进的方法平均检测准确率增加了约9%,时间减少约一半,不仅提高了检测效率,同时提高了小目标检测能力.
关键词:智能交通;深度学习;目标检测;YOLOv3;多尺度检测;轻量化网络中图分类号:TP391.
4文献标志码:ADOI:10.
13195/j.
kzyjc.
2020.
0635开放科学(资源服务)标识码(OSID):ResearchonMulti-targetandSmall-scaleVehicleTargetDetectionMethodLIUChangyuan1,WANGQi1,BIXiaojuan2(1.
CollegeofElectricalandElectronicEngineering,HarbinUniversityofScienceandTechnology,Harbin150080,China;2.
CollegeofInformationandCommunicationEngineering,HarbinEngineeringUniversity,Harbin150001,China)Abstract:Vehicletargetdetectionisanimportantlinkinintelligenttransportationsystem.
Aimingattheproblemsoflowefciency,poordetectioneffectofsmalltargetsandhighmissrateoftraditionalvehicletargetdetectionmethods,avehicletargetdetectionalgorithmbasedonimprovedYOLOv3networkisproposed.
Inordertoimprovetheefciencyofvehicledetection,thelightweightmodelMobileNetv2isusedtoreplacethefeatureextractionnetworkintheoriginalYOLOv3,andthecalculationamountisreducedcomparedwiththeoriginalalgorithm.
Inordertoeffectivelyimprovethenetwork'sabilitytodetectsmall-scalevehicletargets,featurelayersofdifferentscalesarefusedandtargetdetectioniscarriedoutonfeaturemapsofdifferentscales.
Atthesametime,inordertoobtainmoreabundantsemanticfeatureinformationandimprovethepredictionabilityofnetwork,afeatureenhancementmoduleisproposed.
Forthespecicapplicationofvehicletargetdetection,K-meansisusedtore-clusteranchorframestomeettherequirementsofvehicletargetdetection.
Combinedwiththeaboveimprovements,thevehicletargetdetectionnetworkYOLOv3-M2isobtained.
ExperimentalresultsshowthatcomparedwithYOLOv3,theimprovedmethodnotonlyimprovesthedetectionefciency,butalsoimprovesthesmalltargetdetectioncapability,increasingtheaveragedetectionaccuracyofthenetworkbyabout9%.
Keywords:intelligenttransportation;deeplearning;objectdetection;YOLOv3;multi-scaledetection;lightweightnetwork0引言随着道路上的车辆迅速增多,交通监管逐渐成为了一个具有挑战性的问题.
在智能交通中车辆目标检测是关键的一步,对后续的车辆追踪和车型识别等都有重要的意义,所以一直都是国内外学者的研究热点.
其中小型车辆在道路中较为常见,且在固定监控摄像头正面拍摄的情况下,由于有些汽车离摄像头距离较远而使得目标尺寸较小,使得车辆目收稿日期:2020-05-26;修回日期:2020-08-03.
基金项目:国家自然科学基金项目(51779050);黑龙江省自然科学基金(F2016022).
通讯作者.
E-mail:liuchangyuan@hrbust.
edu.
cn.
2控制与决策标在图像上占很小的像素,对应区域所含信息量较少,检测时容易发生漏检,影响算法的检测精度,因此对小尺度车辆目标进行识别与定位是目标检测领域中的难点[1].
近年来随着对深度学习的深入研究,世界各国的研究学者已经将其应用到不同领域[2],例如在计算机视觉领域的目标检测[3]、图像语义分割、人脸识别[4]等.
基于深度学习的目标检测算法通常分为两类,其中第一类为通过分类区域建议来检测目标的算法,例如RCNN[5]、Fast-RCNN[6]、Faster-RCNN[7],这类算法是将目标检测分为两步,首先利用滑动窗法在图片上获得候选区域,然后提取候选区域的特征向量,利用分类器的评分结果判别候选区域的目标类别.
另一类是YOLO[8]、SSD[9]等算法,采用了直接回归目标类别的方式,很大程度地提升了检测速度,但是检测的准确率有所下降.
这类算法主要将输入图像先划分为的网格之后进行检测,并输出物体的类别和存在的概率.
MobileNet网络用于提取图像的特征信息,是一种轻量化卷积神经网络,其独特的卷积结构可优化网络模型的大小并提升运算速度,在不降低算法精度的情况下提升效率.
利用深度神经网络提取特征比传统的特征提取方法效果更好,本文也将继续使用深度学习的方法来检测大小不同的车辆.
为了提升YOLOv3算法的小尺度车辆的检测能力,减少漏检率和提高检测效率,本文在YOLOv3网络的基础上进行改进,将YOLOv3与轻量化模型MobileNetV2[10]相结合,并且算法将检测尺度扩展到四种尺度.
同时增加了特征增强模块,用来增强四种尺度的车辆特征信息,为网络的预测层提供了丰富的语义信息,从而有效地提升了算法的小目标检测能力;另外算法针对车辆目标检测的这一特定应用,对anchorbox进行了重新聚类.
在对比试验中发现,改进之后的目标检测网络YOLOv3-M2相比于YOLOv3在小尺度车辆目标检测上取得了不错的效果,明显提高了对于车辆目标检测的准确率,减少了漏检情况的发生;由于大量减少了网络参数,检测效率也得到进一步提升.
1相关网络算法与模型1.
1YOLOv3算法YOLO算法直接回归出目标的位置,不再选择候选区域,而是直接通过回归来生成每类目标的边界框坐标和置信度.
因此YOLO算法的计算速度要远远超过FasterR-CNN算法的运算速度.
YOLOv3算法相比于YOLO和YOLOv2,首先使用了特征图金字塔网络(FeaturePyramidNetworks,FPN),实现了三种尺度预测尺度,分别是13*13、26*26、52*52,其检测精度相比于YOLO和YOLOv2均有所提升.
YOLOv3主要分为两部分,分别是特征提取部分和目标预测部分,特征提取主要由Darknet53网络来完成.
YOLOv3网络首先把输入图像缩放到416*416,并送入卷积神经网络进行特征提取,目标预测过程中通过非极大值抑制方法消除重叠的预测框,保留一个框作为最终的检测框.
YOLOv3网络将输入图像划分成S*S个网格,每个网格单独预测目标并可以预测出3个尺寸不同边界框,以及边界框的4个偏移坐标和一个置信度值,所以每一个网格得到的张量是S*S*[3*(4+1+N)](1)其中4代表预测的边界框的坐标(tx,ty,tw,th),1表示目标置信度,N为数据集中N类目标.
1.
2MobileNetV2轻量化网络的卷积与标准卷积的区别在于卷积的计算方式不同,其优点是保持精度的同时减少网络参数和计算量.
MobileNetv2是基于MobileNetv1[11]改进的网络,MobileNet主要运用的是深度可分离卷积.
是许多高效神经网络架构的关键结构块,以此来减少运算量以及参数量.
深度可分离卷积由两部分组成,第一部分是深度卷积层(Depthwise),它通过对特征图的各个通道应用单个卷积滤波器进行卷积操作,第二层是1*1的点卷积将多个卷积层线性结合.
相比于MobileNetv1,MobileNet-v2网络借鉴了残差网络中的残差模块提出了倒立残差结构模块.
残差模块对特征图先"压缩"再"扩张",倒立残差结构则相反,先采用卷积做扩张之后连着深度卷积层,最后卷积做压缩,因此称作倒残差结构.
如图2所示,MobileNetv2有两种结构不同的模块,分别是stride=1和stride=2的模块.
图1MobileNetv2的基本结构块柳长源等:多目标小尺度车辆目标检测方法的研究3在stride=1的模块中使用了shortcut来连接两个卷积层,提高梯度跨层传播能力,为了使维度匹配在stride=2块中不采用shortcut,以上两种结构构成了MobileNetv2的基本结构块.
表1为MobileNetv2基本结构块的输入与输出关系,其中输入图像尺寸为h*w,通道数为d,输出通道数为d,深度卷积层的卷积核大小为k,卷积的步长为s,扩展影响因子为t(0Ubuntu14.
04,程序设计平台为Python,并使用了GPU加速,并同时安装了CUDA10.
0和cudnn7.
4.
2以支持GPU的使用.
3.
2实验方案与结果分析在对YOLOv3-M2网络模型进行训练时采用批量机梯度下降法来优化损失函数,将初始学习率设为0.
001,最大迭代次数为50000次,,权重衰减值设为0.
0005,批量大小设为64,在网络迭代40000次柳长源等:多目标小尺度车辆目标检测方法的研究5和45000次之后分别将学习率改为0.
0001和0.
00001.
YOLOv3-M2网络模型训练完成之后利用测试集对其进行测试,图7所示为YOLOv3算法与YOLOv3-M2网络的车辆检测结果对比.
(a)YOLOv3(b)YOLOv3-M2图4目标检测结果对比图7(a)为YOLOv3算法的检测结果,出现了严重的漏检现象,图7(b)为YOLOv3-M2的检测结果,可以看出相对于YOLOv3算法,YOLOv3-M2网络模型对于图片上的小尺度车辆目标检测的效果非常优秀.
实验采用精度(Precision)、召回率(Recall)、平均精度(AP)作为算法性能定量评价的标准,其中精度(Precision),召回率(Recall)表示为Precision=NtrueM(4)Recall=NtrueK(5)AP=PrecisionN(6)式中Ntrue表示成功检测的个数,M表示检测的车辆总数,K表示测试集中的车辆目标总数,N为图片总数.
对于算法的检测精度,召回率与运算速度对比结果如表2所示.
表2检测结果对比PrecisionRecallAP/%Time/sYOLOv387.
383.
585.
30.
332YOLOv3-M2*91.
788.
390.
90.
195YOLOv3-M2**93.
891.
293.
40.
188YOLOv3-M295.
592.
694.
80.
193表中YOLOv3-M2*未对车辆数据集进行anchorbox的重新聚类,使用的是原始YOLOv3中anchorbox的尺寸;YOLOv3-M2**未添加特征增强模块.
从表格中的结果可以看出由于YOLOv3-M2网络使用了多尺度特征检测的方法、特征增强模块和anchorbox的重新聚类,整体的检测精度和召回率均高于YOLOv3、YOLOv3-M2*和YOLOv3-M2**,YOLOv3-M2*和YOLOv3-M2**的检测精度和召回率相比于YOLOv3算法同样有所提高.
由于YOLOv3-M2网络使用了轻量化模型MobileNetv2提取图像特征,减少了网络运算量和参数数量,对于单张图片的检测时间,YOLOv3-M2网络相比于YOLOv3的检测时间有所减少.
为了使实验对比结果更直观地表现出来,如图8所示绘制了四个网络的的P-R曲线,P-R曲线围起来的面积就是AP值,可以更直观地看出YOLOv3-M2结果更优.
图5P-R曲线4结论本文针对传统目标检测算法的小尺度目标的检测能力差,漏检率高,检测效率低的问题,提出了改进的YOLOv3-M2网络.
利用MobileNetv2络替换原YOLOv3中的DarkNet53,减小了网络模型的规模和运算量从而提高了YOLOv3-M2网络的检测效率.
相比于原YOLOv3算法提取三种尺度特征图,YOLOv3-M2网络提取了四种不同尺度的特征图,为算法的目标预测部分提供更多的细节信息,同时对于这四种尺度的特征图都添加了特征增强模块,可以提供不同的感知域和有意义的语义信息,丰富了四种尺度特征图的特征信息,从而更有利于对小尺度目标的检测.
针对车辆目标检测的专用性,对YOLOv3算法中的anchorbox进行重新聚类得到新的anchorbox的尺寸,更符合车辆目标检测的应用,使得卷积神经网络更容易准确预测目标位置.
通过实验对比,在检测效率和检测精度上YOLOv3-M2算法相比于YOLOv3均有明显提升.
参考文献(References)[1]徐子豪,黄伟泉,王胤.
基于深度学习的监控视频中多类别车辆检测[J].
计算机应用,2019,39(3):700-705.
(XuZH,HuangWQ,WangW.
Multi-categoryvehicledetectioninsurveillancevideobasedondeeplearning[J].
JournalofComputerApplications,2019,39(3):6控制与决策700-705.
)[2]张顺,龚怡宏,王进军.
深度卷积神经网络的发展及其在计算机视觉领域的应用[J].
计算机学报,2017,4(144):1-30.
(ZhangS,GongYH,WangJJ,Developmentofdeepconvolutionneuralnetwokanditsapplicationintheeldofcomputervision[J].
ChineseJournalofComputers,2017,40(144):1-30.
)[3]李会军,王瀚洋,李杨等.
一种基于视觉特征区域建议的目标检测方法[J].
控制与决策,2020,35(6):1323-1328.
(LiHJ,WangHY,Liy,etal.
Anobjectdetectorbasedonvisualfeatureregionproposal[J].
ControlandDecision,2020,35(6):1323-1328.
[4]WangH,GongDH,LiZF,etal.
DecorrelatedAdversarialLearningforAge-InvariantFaceRecognition[C].
IEEEConferenceonComputerVision&PatternRecognition.
LongBeach:IEEE,2019:3527-3536.
[5]GirshickR,DonahueJ,DarrellT,etal.
Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation[C].
ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition.
Columbus,Ohio:IEEE,2014:580-587.
[6]GirshickR.
FastR-CNN[C].
ProceedingsofIEEEInternationalConferenceonComputerVision.
Santiago,Chile:IEEE,2015:1440-1448.
[7]RenS,HeK,GirshickR,etal.
FasterR-CNN:Towardsreal-timeobjectdetectionwithregionproposalnet-works[J].
IEEETransactionsonPatternAnalysisandMa-chineIntelligence,2017,39(6):1137-1149.
[8]RedmonJ,DivvalaS,GirshickR,etal.
Youonlylookonce:Unied,real-timeobjectdetectionwithregionproposalnetworks[J].
IEEETransactionsonPatternAnalysisandMa-chineIntelligence,2017,39(6):1137-1149.
[9]LiuW,AnguelovD,ErhanD,etal.
SSD:Singleshotmultiboxdetector[C].
EuropeanConferenceonComputerVision.
Amsterdam,TheNetherlands:Springer,2016:21-37.
[10]SandleM,HowardA,ZhuML,etal.
MobileNetV2:InvertedResidualsandLinearBottlenecks[C].
31stMeetingoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.
SaltLakeCity:IEEE,2018:4510-4520.
[11]HowardAG,ZhuM,ChenB,etal.
MobileNets:Efcientconvolutionalneuralnetworksformobilevisionapplications[C].
IEEEConferenceonComputerVisionandPatternRecognition.
Honolulu:IEEE,2017:1-9.
[12]袁哲明,袁鸿杰,言雨璇,刘双清,谭泗桥.
轻量化深度学习模型的田间昆虫自动识别与分类算法[J/OL].
吉林大学学报(工学版),http://kns.
cnki.
net/kcms/detail/22.
1341.
T.
20200408.
1133.
003.
html[13]张富凯,杨峰,李策.
基于改进YOLOv3的快速车辆检测方法[J].
计算机工程与应用,2019(02):12-20.
作者简介柳长源(1970),男,副教授,博士,从事模式识别与图像处理等研究,E-mail:liuchangyuan@hrbust.
edu.
cn;王琪(1996),女,硕士生,从事模式识别与计算机视觉等研究,E-mail:1208401521@qq.
com;毕晓君(1964-),女,教授,博士,博士生导师,从事机器学习与智能信息处理技术等研究,E-mail:bixiaojun@hrbeu.
edu.
cn.