【Café速递】张晨晓:基于深度学习的遥感影像语义分割与变化检测方法介绍

核心提示报告将总结已有的基于深度学习的遥感影像语义分割方法和变化检测方法,并介绍一种基于对象的影像语义分割方法和一种基于深度监督融合网络的高分影像变化检测方法;对于在研究方向上长时间难以取得突破的同学,报告人将分享自己从GIS向RS的科研转向之路.
主持:赵康图像及录像:刘梓锌文字:李浩东人物名片张晨晓,武汉大学测绘遥感信息工程国家重点实验室2016级博士,师从乐鹏教授,以第一作者发表SCI论文三篇,获得博士国家奖学金、中海达奖学金等.
报告现场6月26日晚上7点,武汉大学测绘遥感信息工程国家重点实验室的张晨晓博士做客GeoScienceCafé第261期学术交流活动.
本次报告,张晨晓博士从下面几个方面介绍了自己在遥感语义分割与变化检测方向的研究进展和从GIS转到RS的心路历程:1、深度学习的概念2、深度学习应用于遥感语义分割3、深度学习应用于遥感变化检测4、GIS向RS的科研转向5、科研心得图1张晨晓博士在线上为大家做精彩报告1、深度学习的概念深度学习的主要内容包括两个部分:深度学习的基本网络结构和网络训练.
感知机结构的主要原理是一个简单的神经元接受多个网络的输入,将其进行叠加并加上偏置之后通过非线性化的函数最终输出结果.
通过多个神经元的叠加组合就可以实现对复杂问题非线性化的模拟求解.
网络训练首先通过构建具有多个神经元的网络结构利用正向传播计算模拟的输出值和真实目标之间的差值,即为loss值.
再通过反向传播和梯度下降对每一个神经元进行更新,通过多次往复的正向和反向传播来实现网络权值的更新最终得到一个较好的问题求解模型.
图2深度学习的概念2、深度学习应用于遥感影像语义分割目前基于深度学习的遥感影像语义分割方法大致可以分为三类:滑动窗口-patch分类法和对象分割-对象分类方法以及全卷积网络-端到端分类方法.
基于滑动窗口的分类法首先采用一个固定大小的滑动窗口从左至右从上至下遍历整个遥感影像,将每个窗口的内容放到卷积神经网络里面进行分类.
分类的结果就是每一个窗口中心像素点的类别,由于采用的窗口是固定的,所以会存在感受域大小不确定问题.
图3滑动窗口-patch分类法基于对象分割思想的分类方法首先对整幅遥感图像进行对象分割,取分割后的影像放到卷积神经网络进行对象分类.
这种分类方法也会存在Boundingbox里面拥有的领域信息较少的问题.
图4对象分割-对象分类方法最后一种基于全卷积网络的影像分类方法目前在计算机视觉领域较为流行,精度也是最高的,在这里介绍一种基于对象的多级空间上下文监督分类法.
首先需要对对象取一定的空间上下文信息用来监督指导对象的分类,然后在对象分类的基础上再采取像素级别的空间上下文优化语义分割的结果.
图5基于对象的多级空间上下文监督分类法3、深度学习应用于遥感影像变化检测根据分析方法采用的粒度不同将基于深度学习的监督变化检测方法分为三类.
第一类是基于像素比较的方法,在两幅影像的某个像素点的位置分别取像素点光谱值,然后将不同时相的光谱值特征进行组合放入卷积神经网络中来评价像素对的相似度.
如果该像素对的相似度很高,则认为这个点没有发生改变.
第二种是基于图斑比较的方法,取同一位置上的两个相同大小的图斑放入群体实体网络中比较图斑对的相似度.
如果图斑对的相似度很高则认为这个地方没有发生改变.
最后一种是影像比较的方法,直接将两幅影像放入卷积神经网络中输出一个最终变化的结果,该方法是目前精度最高、效果最好的变化检测方法.
以上三种都是基于像素比较的监督变化检测,非监督变化检测主要分为两种,基于像素比较的检测和基于对象比较的检测.
基于像素比较的思想是把两幅影像通过神经网络提取出像素级的特征,然后将特征通过阈值分割、聚类分析或者变化向量分析的方法输出变化检测结果.
基于对象的检测方法首先对影像进行分割,取分割后的多个对象放入神经网络中得到对象级的特征,再利用阈值分割或者变化下降分析的方法得到最终的结果.
早期融合方法将不同时相的影像数据做组合叠加输入到网络中,图像的差异性检测从网络的第一层开始进行,这将导致属于不同时相的特征可能会相互影响,原始影像的高维特征难以保持.
图6早期融合方法后期融合方法使用孪生网络结构分别接收不同时相的影像数据,将原始影像的特征提取功能和差异识别功能通过多层网络链接在同一个网络中,这会极大地增加梯度消失的隐患,进而影响原始影像特征提取的结果,导致网络前端提取出的原始影响特征的代表性较差.
图7后期融合方法针对存在的问题,我们提出了基于深度监督的影像融合网络框架.
如图8所示,a是T1分支,网络分支接收T1作为输入,b是T2分支,将其作为服务.
经过多层的高维特征提取之后两个分支网络汇聚于c网即为差异判别网络来生成最终的变化检测结果图.
通过在通道维度对异质特征进行融合、在空间维度对异质特征进行优化、从更短距离的深度监督层直接获取更新梯度等方法增强网络性能、提高检测结果精度.
图8差异判别网络结构4、GIS向RS的科研转向1、时间宝贵,及时止损,一条路走到黑真就是走到黑;2、把握机会,在新的研究热点面前大家都在同一起跑线;3、制定策略寻找合适的研究切入点.
5、科研心得1、最忌不求甚解;2、写文章不过分追求华丽,朴实无华更见真章;3、培养自信心,坚定研究目标;4、学习了解不同领域的最新进展,发现新的机会.
互动交流提问人一:请问在做遥感语义分割任务时,训练集和验证集loss降到多少合适呢比如我一般验证集loss只能降到0.
2左右,感觉精度不好,是由哪些原因造成的呢训练过程的模型好坏是以验证集loss为准还是accuracy为准呢张晨晓博士:loss值在理论上是越低越好,我在做实验的时候,我的要求降到零点零几,但是其实loss值降到多少不是一个门槛的问题,关键是你的模型在不断的训练过程中,只要达到一个稳定的loss,那么它的效果就已经达到最好了.
你再要求它降的更低也是不可能的了.
精度不好的原因可能比较多,我觉得一方面是数据的原因,有可能数据的覆盖面不是很好,包括数据不平衡的因素,可能也会导致精度不高.
另一方面就是你模型的设计可能是有缺陷,导致loss不是很低.
如果你的loss值总是稳定在一个点上,那么就不要纠结了,你的模型就只能达到这么好的精度了.
可以从数据的采集、模型设计上去找原因.
提问人二:请问在"基于深度监督影像融合框架的高分影像变化检测方法"中的监督网络块,采用的是预检测的变化图吗,可以展开再讲一讲细节吗张晨晓博士:首先监督方法的数据集是包括一组双时相影像和一张groundtruth图,不同的监督模块接收的输入是不一样的,那么我们要对不断监督层对应的groundtruth图进行不同的变形,然后来放入到不同深度的网络层中来进行深度监督.
提问人三:请问如何判断自己是否适合从事科研,读博后的就业会不会更加狭窄张晨晓博士:我觉得读博后的就业会不会更加狭窄是取决于你在读博里面做的研究内容.
我了解的一些读博的同学,比如说在遥感上仅仅针对于某一方向做过多的研究,可能后面的就业面不会很宽.
做GIS的同学,他的就业面就会广一点,因为公司里面就比较需要有这种业务和代码能力的同学.