目标跟踪《十一》--- PTS论文解读

目标跟踪《十一》--- PTS论文解读

论文的原题是Prediction-Tracking-Segmentation,从题目中可以看出来是将prediction,tracking,segmentation都union到一个结构中来共同去做跟踪了,

paper中提供的tracker的效果图如下

avator

作者认为之前的tracker大都是只利用了图所呈现的appearance信息,并没有用到更深层次的像运动信息,上面的左图的下面就是PTS-tracker的效果图,能够看出,该tracker不仅把当前的state跟踪到了,而且对下一个frame的位置作了一定的prediction,即这个paper中所运用到的motion的信息,这样将prediction,tracking,以及segmentation结合到一块儿,得到了一个较好的tracker.

motivation

作者在introduction中提到,类比人在跟踪一个物体的时候是会根据其之前的运动状态脑补接下来其可能到达的位置然后结合眼前所看到的场景,从而判断出哪一个是target,而反观目前的traker,并没有把运动这一很重要的信息包含进去,相当于基本上都是跟踪的0速度的物体,所以作者提出应该把运动信息加进去。其实关于这点,我之前也有想过,因为就整个跟踪过程而言,抽象一点的话就是一个随着时间的微分方程,而实际上gt的出现的位置所呈现出的轨迹就是解曲线,但是如何把这一抽象的东西进行建模并实现,确实很关键,或许我之前看过的一篇PDENET也有些联系。另外一方面,在不同的桢之间必定是有对应关系的,比如两个目标都出现的桢中,目标所在的附近是极为相似的,如果固定相机不动,将后面的桢的状态投影到前面的桢中去就可以看到物体的运动信息,比如下图

avator

该paper里面其实是学得两桢之间的变换,而且这个变换关系是经过很多的成对的patches进行学到的, 并且作者在paper中说这些成对的patches鲁棒性应该没有问题。

这样有了预测下一桢的位置信息,加上当前桢的segmentation的信息对其做一下refine就能得到较好的当前桢的结果.

这个在vot2016和vot2018上的结果如下

avator

thoughts

  • 为下一桢作一个定位是多个tracker都有的想法,只不过有不同的实现,这里是通过运动的信息,然后利用当前桢的segmentation做一下refine,而atom中是靠预测heatmap,根据最高的response来进行定位的,这个定位的好不好,很大程度上决定了跟踪的好不好.

  • 这里的想法是通过一个运动变换来预测得到下一桢的大致位置,或许也可以通过建立向量场的方式来得到运动信息.

打赏,谢谢~~

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,多谢支持~

打开微信扫一扫,即可进行扫码打赏哦