目标跟踪《十六》--- DIMP论文笔记

目标跟踪《十六》--- DIMP论文笔记

这个工作是继ATOM之后的工作.

introduction

大多数跟踪算法的想法是基于一个target model,这个target model能够区分target 和背景(不是target的全部都认为是是背景), 因为我们事先并不知道要跟踪的是什么物体,所以target model一般很难通过离线来学到, 相反,target model在inference阶段的时候是非常必要的,不然的话就会一直跟飞了,所以一个挑战就是能不能有一个end-to-end的解决方式。在这方面尝试最多的就是基于siamese的网络系列了,其大致的想法是离线学得一个比较template和test图的抽象的距离函数, 根据得到的距离函数就能够判定物体在哪里.

  • siamese 系列的缺点.
  1. 仅仅使用了target 的apperance信息, 完全忽略了背景信息,因为在训练的时候是把target进行crop然后送入网络的.

  2. 训练集不可能包含所有类别,因为要跟的东西我们事先不知道,这样当出现新的类别的时候,跟的并不好.说明还不够鲁棒.

  3. siamese系列没有在线更新的办法,(这是后期可以做的方向, 比如在siamrpn上加上在线的想法)

Method

在atom中有一个很关键的部分是在线更新,那里的在线更新为了防止过拟合就只有两层,一层是4-4的卷积和proj和一层1-1的filter, 在线更新的时候只更新这两层的参数,而且在线更新的时候每隔10桢训练的也是这两个层的参数,但是这个过程是有些花时间的,丢的越多就越花时间(用vot的标准,vot断了会重启Tracker,包括load模型), 所以他们自然地想要解决这个问题,即离线的时候学到一个filter,即learning to learn, 学到的是个卷积层的filter. 这样在inference的时候,能够快速的得到一个filter, 这个filter就相当于atom中在线分类的两层卷积中的filter.不同的是这个filter在整个tracking这个video的时候不需要更新(个人理解), 而atom在tracking同一个视频的时候是每隔10桢更新一下的.所以速度上肯定要比atom快,即便用了res50作为backbone.

值得学习的地方

在atom和dimp中都有一个共同的地方,即文章中所提到的优化方法,即内for先优化一个step, 外for是真正的优化,当然这是适合某些问题,优化的速度也挺快的.

打赏,谢谢~~

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,多谢支持~

打开微信扫一扫,即可进行扫码打赏哦