特征融合网络

第33卷第2期计算机辅助设计与图形学学报Vol.
33No.
22021年2月JournalofComputer-AidedDesign&ComputerGraphicsFeb.
2021收稿日期:2020-05-18;修回日期:2020-09-30.
基金项目:国家重点研发计划子课题(2017YFC1601800);国家自然科学基金(61876072);中国博士后科学基金特别资助项目(2018T110441);江苏省六大人才高峰项目(XYDXX-012).
范颖(1996—),男,硕士研究生,主要研究方向为计算机图像处理、深度学习;宋晓宁(1975—),男,博士,教授,博士生导师,CCF会员,论文通讯作者,主要研究方向为人工智能与模式识别.
用于目标跟踪的孪生渐进注意引导融合网络范颖,宋晓宁*(江南大学人工智能与计算机学院无锡214122)(x.
song@jiangnan.
edu.
cn)摘要:针对基于孪生网络的目标跟踪中大部分方法是利用主干网络的最后一层语义特征来计算相似度,而单一地利用深层特征空间往往是不够的问题,提出基于孪生网络的渐进注意引导融合跟踪方法.
首先采用主干网络提取深层和浅层特征信息;然后通过特征聚合模块,以自顶向下的方法去编码融合深层语义信息以及浅层空间结构信息,并利用注意力模块减少融合产生的特征冗余;最后计算目标和搜索区域的匹配相似度,以进行目标跟踪.
在加入注意力模块后,跟踪器可以选择性地整合多层特征信息,提升了跟踪器的性能.
在OTB2013,OTB50,OTB2015,VOT2016以及VOT2017这5个公共基准数据库上,与SiamDW等方法进行实验的结果表明,文中方法能够有效地提升跟踪的精度及成功率.
关键词:目标跟踪;多层融合;注意机制;孪生网络中图法分类号:TP391.
41DOI:10.
3724/SP.
J.
1089.
2021.
18392SiameseProgressiveAttention-GuidedFusionNetworkforObjectTrackingFanYingandSongXiaoning*(SchoolofArtificialIntelligenceandComputerScience,JiangnanUniversity,Wuxi214122)Abstract:Forthemostofobjecttrackingalgorithmsusingsiamesenetworks,thesemanticfeaturederivedfromthelastlayerofthebackbonenetworkisusedtocalculatethesimilarity.
However,theuseofsingledeepfeaturespaceoftenleadstopartiallossofeffectiveinformation.
Toaddressthisissue,thesiameseprogressiveatten-tion-guidedfusionnetworkisproposed.
First,thedeepandshallowfeatureinformationissimultaneouslyex-tractedusingthebackbonenetwork.
Second,atop-downstrategyisadoptedtograduallyencodeandfusedeepsemanticinformation,aswellasshallowspatialstructureinformationisobtainedfromtheprogressivefeatureaggregationmodule.
Wethenuseattentionmoduletoreducefeatureredundancythatgeneratedbyfusion.
Last,theoptimalsolutionofobjecttrackingisformedbycalculatingthesimilaritybetweenthetargetandsearcharea.
Bymeansofattentionmodule,thetrackercanselectivelyintegratemulti-levelfeaturesinformationtoenhancetheperformanceoftheapplications.
AscomparedwithSiamDWandothertraditionalmethods,experimentalre-sultsconductedonthefivecommontrackingbenchmarksincludingOTB2013,OTB50,OTB2015,VOT2016andVOT2017,demonstratethattheeffectivenessoftheproposedalgorithmintermsoftrackingaccuracyandsuccessrate.
Keywords:objecttracking;multi-levelfusion;attentionmechanism;siamesenetwork200计算机辅助设计与图形学学报第33卷视觉目标跟踪是计算机视觉的基本问题之一,近年来得到越来越多的关注.
它在视频监控[1]、人机交互[2]以及视频编辑[3]等方面有着广泛的应用.
但由于尺度变化、遮挡、变形、快速运动和背景杂波等实际因素的影响,视觉目标跟踪仍然具有很大的挑战性.
大多数现有的跟踪方法都是基于相关滤波器(correlationfilter,CF)[4-11]和孪生网络这2个成功的框架开发的.
基于相关滤波的方法由于使用快速傅里叶变换,具有较高的计算效率和不错的跟踪精度.
例如,MOSSE[4]是首个将相关滤波器用于目标跟踪的方法,其运行速度约为700帧/s.
然而对于复杂的跟踪场景,该跟踪器的性能通常会显著下降.
所以为了应对各种挑战和实现更好的跟踪性能,相关滤波跟踪器之后的发展集中在核函数[5]、运动信息[6]、多维特征[7]、多尺度估计[8]、减缓边界效应[9]和深度卷积特征[10-11]等方面.
尤其是深度卷积特征,它与手工特征相比具有更强的表示能力,已成为提高跟踪精度的重要手段.
随着这些跟踪技术的发展,在各种跟踪基准及挑战[12-15]上,基于相关滤波跟踪器的精度开始有了大幅提高.
不过也随之带来了相当大的计算开销,导致跟踪器不能满足实时性的要求(大于30帧/s).
为了平衡跟踪性能和速度,基于孪生网络的目标跟踪[16-27]成为近年来流行的目标跟踪框架.
这些跟踪方法(如SiamFC[16])使用孪生卷积网络提取目标区域和搜索区域的特征表示进行比较,从而将跟踪问题转化为匹配学习问题.
由于该框架是端到端训练的,更容易在跟踪数据集上进行训练,从而使得这些跟踪方法既可以提供高精度,又无需任何微调或在线更新过程.
最近几个扩展在孪生网络进行特征提取后,使用区域建议网络(regionproposalnetwork,RPN)[28]进行分类和检测,在各种基准数据集上也都取得了优异的结果.
然而,视觉目标跟踪仍然受到几个问题的困扰.
首先,这些跟踪方法的识别能力在很大程度上取决于孪生网络的特征提取能力.
其次,在孪生网络中,往往都是从最后一层卷积层中提取特征来进行匹配相似度计算.
而深层特征表示往往分辨率较低,不利于准确定位.
为解决上述问题,本文开发了一种端到端深度模型架构,名为孪生渐进注意引导融合网络(siameseprogressiveattention-guidedfusionnetwork,SiamPAGF).
它采用了先进的主干网络,以获得更好的特征识别能力.
另外,主干网络的深层特征表示尽管分辨率低,但其语义层次高,可以有效地区分不同类别的目标;浅层特征表示分辨率高,可以捕获丰富的结构细节信息,对于目标精确定位是非常有用的.
所以本文采用自顶向下的方式逐步融合高层的语义信息和浅层的空间结构信息,并引入注意力模块来细化特征抑制融合噪声,逐步提高网络的特征学习能力.
通过本文方法,可以学习到更强的特征表示来计算匹配相似度,有效地提高跟踪性能;并在OTB2013[12],OTB50,OTB2015[13],VOT2016[14]以及VOT2017[15]这5个公共跟踪基准数据集上获得较好的跟踪结果.
1基于孪生网络的跟踪近些年,基于孪生网络的跟踪器引领着最新的跟踪趋势,因为它们能以较高的跟踪速度达到相当高的跟踪精度.
例如,SiamFC[16]采用孪生网络作为特征提取器,将视觉目标跟踪问题表述为一个相似度学习任务,其首先离线训练一个相似度量网络,然后用它计算输入图像块和目标之间的匹配相似度,相似程度高的部分即跟踪目标.
该方法结构简单且非常高效,速度可达到86帧/s.
之后,为了使离线训练的孪生网络能够适应目标的外观变化,DSiam[17]在SiamFC框架的基础上增加了模型在线学习更新的能力,即添加了2个线性回归模型,一个可以学习目标的外观变化,另一个可以学习抑制背景.
TriSiamFC[18]使用三重损失代替交叉熵损失来训练孪生网络.
为了提高孪生网络的表示能力,CFNet[19]在孪生网络中引入了相关滤波层作为可微层.
RASNet[20]进一步引入了多种注意机制.
另外,为了能灵活地应对目标尺度变化,SiamRPN[21]引用了目标检测方向的RPN,将其与孪生网络组合在一起,使得跟踪器能够实现对目标尺度变化的适应,得到更精确的目标边界框,同时更进一步提高跟踪速度.
2本文方法SiamPAGF框架如图1所示,它是由孪生主干网络、特征聚合模块和注意力模块组成.
本文方法使用一个3阶段的ResNet22作为孪生网络的主干,用来负责提取示例样本和搜索样本的多层特征表示.
其中特征聚合模块应用于示例分支最后一阶段的3层特征,以自顶向下的方式进行逐步整合.
然后利用注意力模块对生成的聚合特征进行进一第2期范颖,等:用于目标跟踪的孪生渐进注意引导融合网络201步的细化,智能地集成所需的深层浅层特征表示信息.
最后,计算目标和搜索区域之间的匹配相似度生成2个分数图,并通过加权和组合以预测跟踪区域.
图1孪生渐进注意引导融合网络框架2.
1孪生主干网络众所周知,强大的特征表示对于精确和健壮的视觉目标跟踪至关重要.
在基于孪生网络的跟踪器中,深度神经网络已被证明是有效的,如VGGNet[29],ResNet[30]和MobileNets[31].
值得一提的是,这些跟踪方法都是基于全卷积性质的,只适用于所使用的主干网络没有填充操作的情况.
虽然原始的ResNet可以学习到非常强大的特征表示,但因网络中使用了填充操作,会在孪生跟踪框架中引入位置偏差,使得目标和搜索样本的匹配相似度下降,进而导致跟踪性能降低.
为解决这个问题,本文提出的跟踪器采用修改的ResNet22作为孪生主干网络,这被证明是有效的[22].
该网络分为3个阶段,总体步长为8,由22个卷积层组成.
每当卷积层使用填充后,都会在之后使用裁剪操作来消除受到补零影响的特征计算,同时保持内部块结构不变.
另外,网络在前2个阶段中的特征下采样是遵循原始的ResNet.
而在第3阶段,由一个步长为2的最大池化来代替卷积层执行下采样,该层位于此阶段(总共有4个块,分别为layer2-1,layer2-2,layer2-3和layer2-4)的第1个块中.
孪生主干网络是由2个相同的分支组成的.
一个称为示例分支,接收示例样本的输入;另一个称为搜索分支,接收搜索样本的输入.
这2个分支在卷积神经网络中共享参数,以确保相同的转换用于这2类样本.
2.
2特征聚合模块由于池化、卷积等下采样操作,使得孪生主干网络最后一层提取的特征图分辨率大大降低(如示例分支最后一层特征图大小为5*5).
虽然深层特征可以很好地了解语义信息,但也导致了目标不能够准确定位.
因此不仅需要顶层的高级特征,还应该将包含空间结构信息的低级特征应用到匹配相似度计算中,这对于最终的目标跟踪结果是十分有利的.
然而,本文通过研究发现独立处理每一层特征,即直接使用深层和浅层特征来进行计算未必那么有效.
为此,在网络中本文应用了特征聚合模块,对各层信息进行逐步地编码融合,将高层特征信息和浅层特征信息有选择性地结合在一起,以生成综合增强的特征表示.
如图2所示,特征聚合模块接收2个部分的输入,即来自对应层的低级特征和上一层通过注意力模块(注意力模块将在后一小节引入)产生的高级注意特征.
本节将详细介绍高级特征和低级特征的聚合策略,即采用级联操作将上采样后的高级特征与低级特征融合.
具体而言,为了级联运算的一致性,注意力模块(attentionmodule,AM)生成的高级注意特征AMlS首先被送入反卷积层df中,该反卷积层将特征上采样到与当前低级特征1lS相同的空间大小.
然后将该上采样的高级注意特征和低级特征级联在一起,并通过1*1的卷积运算11f进行特征通道压缩,生成综合特征1lS.
此外,如前文所述,深层中学习的特征包含高度抽象的语义信息,但缺乏可以从浅层合并的细节信息.
简单地将它们融合在一起会造成特征冗余.
所以在最后,本文将融合后的特征1lS输入到AM,生成注意特征AM1lS,用以细化特征并减少噪声,引导特征AM1lS关注更具代表性的信息表示.
上述过程可以描述为11dAM111lllfCfSSS,AM1a1()llMSS.
其中,()C表示级联操作;a()M表示AM.
图2特征聚合模块细节202计算机辅助设计与图形学学报第33卷接下来,本文将生成的注意特征AM1lS作为第(2)l层的高级特征,与低级特征2lS一起输入到对应层次的特征聚合模块,重复上述特征融合过程.
在网络中,卷积特征{1,2,3}lS分别是示例分支网络第3阶段最后3块卷积层layer2-2,layer2-3和layer2-4的输出特征,注意特征AM3S,AM2S和AM1S是逐层产生的.
需要注意的是,AM3S是直接将示例分支网络顶层特征3S输入到AM生成的,AM3a3()MSS.
最后,本文分别将最终生成的特征AM1S以及顶层特征3S,用来与搜索分支网络对应层的输出特征进行匹配相似度计算,这对最后的跟踪效果是最优的.
2.
3AM如第2.
2节所述,在特征聚合模块中,本文将低级特征和上一层高级注意特征通过级联的方式结合起来,得到了综合的特征表达.
该方法简单、直观,但由于不同层次特征信息的相互矛盾,不可避免地带来一些噪声,影响最后的跟踪效果.
因此,受到文献[32-33]的启发,本文应用一个AM,用于进一步细化特征,抑制噪声干扰,使得融合特征更加具有代表性,如图3所示.
图3注意力模块细节2.
3.
1空间注意机制近年来,注意力方法被计算机视觉方向广泛地使用,因为其有助于关注重要特征,同时抑制不必要的特征.
在此启发下,本文采用空间注意机制来引导融合特征去关注更有意义的特征区域.
用符号表示方便,直接将输入特征表示为WHCF,其中C,W及H分别表示通道、宽度和高度维度.
空间注意机制首先采用3*3卷积层将输入特征进行压缩,然后使用Sigmoid函数进行归一化操作生成注意映射331(()),WHfmFm.
其中,()是Sigmoid函数;33()f表示3*3的卷积运算.
最后,空间注意特征(spatialattention,SA)SASA,WHCFFmF.
其中,表示按元素方向乘法.
2.
3.
2通道注意机制为缓解融合特征中的噪声干扰,空间注意机制是从空间的角度来处理该问题的.
事实上,由于卷积网络特征的各个通道会对不同的语义产生响应,本文也从通道的角度来对特征进行了强化.
例如,通过将更大权重分配给对目标有更高反应的特征通道,以改进对特定目标的信息表示.
因此引入通道注意机制是很有必要的.
通道注意机制是通过全局平均池化来压缩输入特征的空间依赖,然后使用1*1的卷积层和Sigmoid函数来突出显示对特定目标有响应的通道.
具体来说,给定输入特征WHCF,通道注意映射为1111aCfPuFu.
其中,a()P是按通道划分的全局平均池化.
u作为通道注意映射,被应用于输入特征,以引导生成更具代表性的通道注意特征(channelattention,CA)CAFFu.
本文的AM就是由上述的通道空间注意机制串联组成的.
整个模块过程可表示为AMCAa()()MFFFumFm.
3实验结果与分析本文的跟踪器是使用Python3.
6和PyTorch0.
4.
1框架实现的.
实验是在1台GeForceRTX2080GPU上进行.
3.
1实验细节3.
1.
1训练过程本文网络的训练数据来自大型目标跟踪数据集GOT-10k[34],其包含10000多个真实世界中移动目标的视频片段,分成560多个类别,目标的边界框全是手动标记完成,总计超过1500000个.
本文按照基线跟踪器SiamDW[22]的方法对该数据集进行预处理,示例图像大小和搜索图像大小分别为127*127,255*255.
在训练过程中,孪生主干网络通过在ImageNet分类数据集[35]上预训练的ResNet22模型来进行初始化.
同时使用随机梯度下降法,动量为0.
9,并将权值衰减设为0.
0005.
学习率从0.
01降到0.
00001,以指数衰减.
整个过程包含100代,同时在4个GPU上训练,每个GPU最小批处理大小为8.
3.
1.
2测试过程在跟踪过程中,首先根据给定的注释标签,在第2期范颖,等:用于目标跟踪的孪生渐进注意引导融合网络203初始帧中裁剪目标区域作为样本,然后将其调整为127*127像素大小以输入给示例分支网络.
对于后续的帧,以前一帧位置为中心的搜索区域被裁剪并调整为255*255像素.
使用搜索分支网络进行特征提取后,将样本特征与搜索样本特征进行相关操作,生成大小为17*17的相似分数图.
另外,为了应对目标尺度变化,本文所提出的跟踪方法在{1,0,1}1.
0613这3个尺度上搜索目标,并通过以0.
3291为因子的线性插值来更新尺度.
3.
2与先进跟踪方法对比本文跟踪器SiamPAGF分别在5个公共的跟踪基准(OTB2013,OTB50,OTB2015,VOT2016以及VOT2017)上,与其他先进跟踪方法进行对比.
为显示比较的公平,使用这些方法作者提供的跟踪基准结果或使用其所给的参数设置来实现这些方法.
3.
2.
1在OTB上评估实验跟踪器在OTB跟踪基准(OTB2013,OTB50和OTB2015)上进行评估,它是目前使用最广泛的公共基准之一.
其中,OTB2013和OTB50都是由50个完全注释的序列组成,而OTB2015数据集是对OTB2013的扩展,包含100个视频序列.
OTB基准是用精度和成功率的曲线下方面积(areaundercurve,AUC)作为评估标准,并采用一次性评估(one-passevaluation,OPE)策略.
本文将SiamPAGF与许多先进跟踪器在OTB数据集上进行评估,如SiamRPN[21],StructSiam[23],SA-Siam[24],DaSiamRPN[25],SiamBM[26]和C-RPN[27]等.
具体如表1所示.
此外,图4还显示与基线跟踪器SiamDW以及一些先进跟踪方法[36-38]相比,在不同的阈值下OTB2013和OTB2015基准测试的精度曲线图和成功率曲线图.
可以清楚地看出,SiamPAGF在这2个数据集上每个方面都是优于基线的.
表1OTB基准下的AUC分数结果AUC分数OTB2013OTB50OTB2015SiamFC[16]0.
6070.
5160.
58286.
0DSiam[17]0.
65625.
0RASNet[20]0.
6700.
64283.
0SiamRPN[21]0.
6580.
5920.
637200.
0StructSiam[23]0.
6370.
62145.
0SA-Siam[24]0.
6760.
6100.
65750.
0DaSiamRPN[25]0.
6560.
6020.
658160.
0SiamBM[26]0.
6840.
6170.
66248.
0C-RPN[27]0.
6750.
66332.
0SiamDW-FC[22]0.
6630.
65470.
0本文0.
6910.
6380.
67189.
0图42个数据集上不同方法精度和成功率曲线图跟踪器速度/(帧·s1)204计算机辅助设计与图形学学报第33卷3.
2.
2在VOT上评估实验本文还将SiamPAGF在2个VOT基准数据集上进行评估,即VOT2016和VOT2017.
该评估通过VOT官方工具包[14-15]执行,以准确度A、鲁棒性R和期望平均重叠(expectedaverageoverlap,EAO)为指标.
跟踪器在VOT2016和VOT2017数据集上分别达到0.
59和0.
55的准确度,0.
22和0.
32的鲁棒性以及0.
378和0.
310的EAO分数.
在此过程中,SiamPAGF不仅与基于孪生网络的跟踪器比较,还与VOT2016或VOT2017中一些排名前几位的跟踪器进行评估.
表2具体显示了VOT2016和VOT2017基准上的实验结果.
可以看出,SiamPAGF在所有这些跟踪器中都取得了非常具有竞争力的表现.
3.
3实验分析与讨论为了验证本文方法并分析每个模块的有效性,本文在OTB基准上评估了基线SiamDW以及几个不同变种的SiamPAGF跟踪器.
具体实验结果可从图5中直观看出.
表2VOT基准评估结果VOT2016VOT2017AREAOAREAOC-COT[10]0.
540.
240.
331MDNet[40]0.
540.
340.
257ECO[11]0.
550.
200.
3750.
480.
270.
280LSART[39]0.
490.
220.
323SiamFC[16]0.
460.
530.
2350.
500.
590.
188SiamRPN[21]0.
560.
260.
3440.
490.
460.
244SA-Siam[24]0.
540.
2910.
500.
460.
236DaSiamRPN[25]0.
610.
220.
4110.
560.
340.
326SiamDW-FC[22]0.
3350.
266本文0.
590.
220.
3780.
550.
320.
310图5基线SiamDW及不同变种SiamPAGF跟踪器精度和成功率曲线图3.
3.
1特征聚合模块的讨论为研究所提出的特征聚合模块的有效性,本文首先实现一个没有AM的变种跟踪方法(SiamPAGFwithoutattentionmodule,SiamPAGF-NA),只使用了特征聚合模块.
与基线跟踪器相比,在OTB2013和OTB2015这2个基准数据集上,AUC分数提高了0.
020和0.
007,分别达到0.
684和0.
659.
此外,本文还构建另一种变种跟踪器,直接使用浅层和深层跟踪器第2期范颖,等:用于目标跟踪的孪生渐进注意引导融合网络205特征来进行相似计算(SiamPAGFwithoutfeatureaggregationmodule,SiamPAGF-NFA).
从实验结果可以看出,这种直接的计算方式会导致在2个OTB基准数据集的AUC评分显著下降,分别为0.
639和0.
617.
这说明本文特征聚合模块能够有效地利用多层特征信息,对跟踪结果还是十分有用的.
3.
3.
2AM的研究如第2.
3节所述,本文方法中AM是从空间和通道2个方面来对融合特征进行细化及抑制噪声.
为了验证该模块中不同成分对跟踪效果的个体贡献,本文在不同的条件下进行了实验对比分析.
表3所示为使用不同注意机制的实验结果.
可以观察到与跟踪器SiamPAGF-NA相比较,单独集成通道或空间注意机制的效果不如将2个注意机制串行(即提出的AM).
这说明,虽然单独的空间或通道注意机制对最后的跟踪结果只有轻微提高甚至性能下降,但它们的组合能很好地改善跟踪效果.
表3在OTB基准下不同变形跟踪器的AUC比较跟踪器OTB2013OTB50OTB2015SiamDW-FC(baseline)0.
6630.
652SiamPAGF-NFA0.
6370.
5620.
620SiamPAGF-NA0.
6840.
6270.
659SiamPAGF-NA(+CA)0.
6820.
6280.
666SiamPAGF-NA(+SA)0.
6780.
6090.
654SiamPAGF(本文)0.
6910.
6370.
6714结语本文提出一种基于孪生网络的渐进注意引导融合跟踪方法.
通过部署强大的主干网络来捕获表示能力丰富的特征,并使用自上而下的方式将不同层次的卷积特征逐步调制融合起来.
另外,引入空间通道注意机制来细化整个网络,使得网络可以选择性地整合来自多层次的有效特征信息.
广泛地评估证明了本文方法的有效性.
参考文献(References):[1]LiuYC,WangP,WangHT.
Targettrackingalgorithmbasedondeeplearningandmulti-videomonitoring[C]//Proceedingsofthe5thInternationalConferenceonSystemsandInformat-ics.
LosAlamitos:IEEEComputerSocietyPress,2018:440-444[2]LiuLW,XingJL,AiHZ,etal.
Handposturerecognitionusingfingergeometricfeature[C]//ProceedingsoftheIEEEInternationalConferenceonPatternRecognition.
LosAla-Alamitos:IEEEComputerSocietyPress,2012:565-568[3]AgarwalaA,HertzmannA,SalesinDH,etal.
Key-frame-basedtrackingforrotoscopingandanimation[J].
ACMTransactionsonGraphics,2004,23(3):584-591[4]BolmeDS,BeveridgeJR,DraperBA,etal.
Visualobjecttrackingusingadaptivecorrelationfilters[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecog-nition.
LosAlamitos:IEEEComputerSocietyPress,2010:2544-2550[5]HenriquesJF,CaseiroR,MartinsP,etal.
Exploitingthecirculantstructureoftracking-by-detectionwithker-nels[C]//Proceedingsofthe12thEuropeanConferenceonComputerVision.
NewYork:ACMPress,2012:702-715[6]GaoP,MaYP,SongK,etal.
Highperformancevisualtrackingwithcircularandstructuraloperators[J].
Knowledge-BasedSystems,2018,161:240-253[7]DanelljanM,KhanFS,FelsbergM,etal.
Adaptivecolorat-tributesforreal-timevisualtracking[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.
LosAlamitos:IEEEComputerSocietyPress,2014:1090-1097[8]DanelljanM,HgerG,KhanFS,etal.
Discriminativescalespacetracking[J].
IEEETransactionsonPatternAnalysisandMachineIntelligence,2017,39(8):1561-1575[9]DanelljanM,HgerG,KhanFS,etal.
Learningspatiallyre-gularizedcorrelationfiltersforvisualtracking[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRec-ognition.
LosAlamitos:IEEEComputerSocietyPress,2015:4310-4318[10]DanelljanM,RobinsonA,ShahbazKhanF,etal.
Beyondcor-relationfilters:learningcontinuousconvolutionoperatorsforvisualtracking[C]//ProceedingsofEuropeanConferenceonComputerVision.
Heidelberg:Springer,2016:472-488[11]DanelljanM,BhatG,ShahbazKhanF,etal.
ECO:efficientconvolutionoperatorsfortracking[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.
LosAlamitos:IEEEComputerSocietyPress,2017:6931-6939[12]WuY,LimJ,YangMH.
Onlineobjecttracking:abench-mark[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.
LosAlamitos:IEEEComputerSocietyPress,2013:2411-2418[13]WuY,LimJ,YangMH.
Objecttrackingbenchmark[J].
IEEETransactionsonPatternAnalysisandMachineIntelligence,2015,37(9):1834-1848[14]KristanM,LeonardisA,MatasJ,etal.
ThevisualobjecttrackingVOT2016challengeresults[C]//ProceedingsofEuro-peanConferenceonComputerVisionWorkshops.
Heidelberg:Springer,2016:777-823[15]KristanM,LeonardisA,MatasJ,etal.
ThevisualobjecttrackingVOT2017challengeresults[C]//ProceedingsoftheIEEEInternationalConferenceonComputerVisionWork-shops.
LosAlamitos:IEEEComputerSocietyPress,2017:1949-1972[16]BertinettoL,ValmadreJ,HenriquesJF,etal.
Ful-ly-convolutionalsiamesenetworksforobjecttracking[C]//ProceedingsofEuropeanConferenceonComputerVision.
Heidelberg:Springer,2016:850-865[17]GuoQ,FengW,ZhouC,etal.
Learningdynamicsiamese206计算机辅助设计与图形学学报第33卷networkforvisualobjecttracking[C]//ProceedingsoftheIEEEInternationalConferenceonComputerVisionWorkshops.
LosAlamitos:IEEEComputerSocietyPress,2017:1781-1789[18]DongXP,ShenJB.
Tripletlossinsiamesenetworkforobjecttracking[C]//ProceedingsofEuropeanConferenceonCom-puterVision.
Heidelberg:Springer,2018:472-488[19]ValmadreJ,BertinettoL,HenriquesJF,etal.
End-to-endrep-resentationlearningforCorrelationFilterbasedtracking[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.
LosAlamitos:IEEEComputerSocietyPress,2017:5000-5008[20]WangQ,TengZ,XingJL,etal.
Learningattentions:residualattentionalsiamesenetworkforhighperformanceonlinevisualtracking[C]//ProceedingsoftheIEEEConferenceonCom-puterVisionandPatternRecognition.
LosAlamitos:IEEEComputerSocietyPress,2018:4854-4863[21]LiB,YanJJ,WuW,etal.
Highperformancevisualtrackingwithsiameseregionproposalnetwork[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.
LosAlamitos:IEEEComputerSocietyPress,2018:8971-8980[22]ZhangZP,PengHW.
Deeperandwidersiamesenetworksforreal-timevisualtracking[C]//ProceedingsoftheIEEEConfer-enceonComputerVisionandPatternRecognition.
LosAlami-tos:IEEEComputerSocietyPress,2019:4586-4595[23]ZhangYH,WangLJ,QiJQ,etal.
Structuredsiamesenet-workforreal-timevisualtracking[C]//ProceedingsofEuro-peanConferenceonComputerVision.
Heidelberg:Springer,2018:355-370[24]HeAF,LuoC,TianXM,etal.
Atwofoldsiamesenetworkforreal-timeobjecttracking[C]//ProceedingsoftheIEEEConfer-enceonComputerVisionandPatternRecognition.
LosAlami-tos:IEEEComputerSocietyPress,2018:4834-4843[25]ZhuZ,WangQ,LiB,etal.
Distractor-awaresiamesenet-worksforvisualobjecttracking[C]//ProceedingsofEuro-peanConferenceonComputerVision.
Heidelberg:Springer,2018:103-119[26]HeAF,LuoC,TianXM,etal.
Towardsabettermatchinsia-mesenetworkbasedvisualobjecttracker[C]//ProceedingsofEuropeanConferenceonComputerVision.
Heidelberg:Sprin-ger,2018:132-147[27]FanH,LingHB.
Siamesecascadedregionproposalnetworksforreal-timevisualtracking[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.
LosAlamitos:IEEEComputerSocietyPress,2019:7944-7953[28]RenSQ,HeKM,GirshickR,etal.
FasterR-CNN:towardsreal-timeobjectdetectionwithregionproposalnetworks[J].
IEEETransactionsonPatternAnalysisandMachineIntelli-gence,2017,39(6):1137-1149[29]SimonyanK,ZissermanA.
Verydeepconvolutionalnetworksforlarge-scaleimagerecognition[OL].
[2020-05-18].
https://arxiv.
org/abs/1409.
1556[30]HeKM,ZhangXY,RenSQ,etal.
Deepresiduallearningforimagerecognition[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.
LosAlamitos:IEEEComputerSocietyPress,2016:770-778[31]HowardAG,ZhuML,ChenB,etal.
MobileNets:efficientconvolutionalneuralnetworksformobilevisionapplications[OL].
[2020-05-18].
https://arxiv.
org/abs/1704.
04861[32]ChenL,ZhangHW,XiaoJ,etal.
SCA-CNN:spatialandchannel-wiseattentioninconvolutionalnetworksforimagecaptioning[C]//ProceedingsoftheIEEEConferenceonCom-puterVisionandPatternRecognition.
LosAlamitos:IEEEComputerSocietyPress,2017:6298-6306[33]HuJ,ShenL,AlbanieS,etal.
Squeeze-and-excitationnet-works[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.
LosAlamitos:IEEEComputerSocietyPress,2018:7132-7141[34]HuangLH,ZhaoX,HuangKQ.
GOT-10k:alargehigh-diversitybenchmarkforgenericobjecttrackinginthewild[OL].
[2020-05-18].
https://arxiv.
org/abs/1810.
11981[35]RussakovskyO,DengJ,SuH,etal.
ImageNetlargescalevis-ualrecognitionchallenge[J].
InternationalJournalofComputerVision,2015,115(3):211-252[36]LiX,MaC,WuBY,etal.
Target-awaredeeptracking[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.
LosAlamitos:IEEEComputerSocietyPress,2019:1369-1378[37]YangTY,ChanAB.
Learningdynamicmemorynetworksforobjecttracking[C]//ProceedingsofEuropeanConferenceonComputerVision.
Heidelberg:Springer,2018:152-167[38]SongYB,MaC,GongLJ,etal.
CREST:convolutionalresid-uallearningforvisualtracking[C]//ProceedingsoftheIEEEInternationalConferenceonComputerVision.
LosAlamitos:IEEEComputerSocietyPress,2017:2574-2583[39]SunC,WangD,LuHC,etal.
Learningspatial-awareregres-sionsforvisualtracking[C]//ProceedingsoftheIEEEConfer-enceonComputerVisionandPatternRecognition.
LosAlami-tos:IEEEComputerSocietyPress,2018:8962-8970[40]NamH,HanB.
Learningmulti-domainconvolutionalneuralnetworksforvisualtracking[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.
LosAlamitos:IEEEComputerSocietyPress,2016:4293-4302