目标跟踪《二》--- 相关滤波

目标跟踪《二》--- 相关滤波

这个blog主要是记录一下关于相关滤波方面的学习.

介绍

  • 定义

在信号处理中,有相关性(correlation)的概念,(在统计里面也是有的,比如相关系数矩阵,)它主要是用来描述两个因素之间的联系。它有互相关(cross-correlation 两个信号之间的联系)和自相关(auto-correlation 自已在不同时间或者不同频率的相关性)。

  • 原理

给定两个信号$f,g$, 则它们的相关性就定义为:

上面两式分别对应连续的version和离散的version,*表示的是复共轭.

  • 直观解释

correlation的直观上的解释就是衡量两个函数在某时刻的相似程度。而目标跟踪field中就是要找到与目标target非常相似的物体,所以很自然地与“相关”相关的东西是可以应用到目标跟踪field的。

在目标跟踪中的应用

第一次将相关滤波引入目标跟踪field中的是MOSSE(Minimum Output Sum of Squared Error Filter),根据上面的解释,需要找到一个滤波器,使得它能够在目标上的响应最大,其中响应输出公式如下

其中g是响应输出,f表示输入的图,h表示滤波模板,目标就是要求出h.

由Fourier变换可知

将上式记成

从而任务就是找 $H^*$,

而实际中是这么做的,

上面的$G_i$应该是gt的意思,注意上面实际上是多个方程,因为上面是矩阵来写的,具体求$H^*$第$(u,v)$位置的元素的话是

最终得到的$H$的公式如下

上面的.的意思是pointwise的乘法.

在paper里面这些$F_i, G_{i}$是对跟踪框进行随机地变换得到的,其中$G_i$是由高斯分布产生,峰值的位置在每个变换后的$F_{i}$的中心,从而就可以计算出$H$了。

但是上面是理论,作者为了让滤波器对形变光照等外界因素具有更好的robust, 采取了下面的模板更新方式

相当于当前桢的更新是由上一桢的和当前桢的加权得到的.

相关滤波器用于跟踪的大致过程

对于输入的第一桢,将gt对应的区域特征提出来,进行训练,得到相关滤波器,然后对于之后的每一桢,先crop出predict的区域,提特征,将特征经过cos window 之后,做FFT变换, 然后与滤波器相乘,将相乘的结果做IFFT,那么最大的响应点所在的区域即为要跟踪目标的新位置, 然后用新位置区域训练更新得到新的相关滤波器,用于后面的跟踪.

一般的跟踪问题是下面的过程,

  1. 在第1桢的时候,在init-bbox的附近进行采样,训练出一个回归器,这个回归器能够计算出响应

  2. 第2桢的图来了之后,利用第1桢的bbox,在其附近进行采样,然后送入回归器得到响应的heatmap,根据最大响应找到对应的位置,即第二桢的结果bbox(一般也会有cos window这一类的处理手段), 然后再进行训练回归器.

  3. 第3桢的图来了之后,得用第2桢得到的bbox。。。

那么如何利用初始框得到许多训练数据就显得非常重要,而且采样通常也比较花时间。

而这里的circular matrix实际上是解决了

打赏,谢谢~~

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,多谢支持~

打开微信扫一扫,即可进行扫码打赏哦