目标跟踪《十三》---Siam-BM论文笔记

目标跟踪《十三》---Siam-BM论文笔记

大致内容

这个工作是基于之前 SA-Siam的,SA-Siam中用了channel-wise attention的模块,而在Siam-BM中加入了mask分支,以及预测角度的分支,最终在VOT2017上面结果比之前SA-Siam提了5个点.

motivation

在tracking 任务上面robust 和precise tracking至今仍是open problem.Siamese网络虽然取得了一些成功,但是对于大目标的rotation以及当背景中有salient的distracted的物体的时候仍然有很多的挑战。这个工作的目的是为了提出更好的representative的features从而能够将目标从不同的桢中match出来.

做法

  • 分析SiamFC的drawbacks
  1. 因为CNN的features 对于图像的大的scaling 和rotation并不具有不变性,所以当物体有大的scale change以及 in-plane rotation的时候,SiamFC就表现的不令人满意. 问题的根源在于SiamFC不能够改变跟踪物体的orientation和aspect ratio.

  2. 很难确定应该提哪一块儿的feature来表示target object

针对此,作者认为加入一定的空间的语义信息会有帮助.

  • 解决方案
  1. Siam-BM不仅仅能predicts location, scale, 还能够predict角度.

关于角度的实现,是梅举几个角度,然后根据这些角度进行提feature作为candidates,最后选择分最高的那个对应的角度和位置,还有ratio. 如果有M个scale choices和N个angle choices的话,那么为了速度上的原因,使用的是M+N-1个candidates,方法是比如M个scale的choices分别是[1, a,b,c], angle的choices分别是[0, d,e],那么最终用的pairs就是[(1,0), (1,d),(1,e), (a,0), (b,0), (c,0)], 如下图所示

avator

最终的position和(angle, scale)的pair的选择是由下式决定 avator

  1. 加入spatial mask

并不是所有的都用了mask(为了speed的考虑),而是针对aspect-ratio离’1’太远的才使用,这里的’1’是一个给定的阈值的意思,作者认为当aspect-ratio远离’1’的时候这时候在target附近很可能会有突出的干扰项,直观上理解是因为这时候目标比较瘦长,但是整个提特征的方形区域除了这个瘦长的区域外还有其它东西,所以这时候可能会有distractors. 如下图所示

avator 加上mask的特征是这样的

avator

  1. 在tracking的阶段会有模板更新的mechanism.

具体的更新办法是

avator

这个模板更新的办法可以应用到其他的地方.

打赏,谢谢~~

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,多谢支持~

打开微信扫一扫,即可进行扫码打赏哦