MatrixNets论文笔记

MatrixNets论文笔记

Abstract

Matrix Nets简称为xNets, 会将不同size和ratio的物体映射到不同的层中,在这些层中,size和ratio的分布比较一致. 这样xNets就相当于是一个具有scale 和 aspect ratio 意识的结构了.

Motivation

不同scale的目标检测是一个有挑战的问题, 之前解决这个问题的办法就是基于FPN的多个scale的feature map.但是在这里面做的时候,往往是根据最大的那一边来进行resize图然后送入网络的,但是这样会丢失一些ratio的信息,特别是对于ratio变化比较大的object, 比如一个高塔,一把刀。所以作者就自然地想到能不能根据物体不同的ratios将物体分成不同的层,每个层负责处理一部分的ratio和scale的objects.

解决办法

作者提出MatrixNets,先上图

avator

从上图中可以看出matrixNet和FPN的对比,相当于是把FPN的操作更加细化了一下,之前FPN每次深度增加一层,w和h就会跟着缩小2倍,而且两个维度是一起缩的.MatraixNets的想法就是不要每次两个维度都缩,而是一个维度一个维度的缩.这样的话,原先FPN得到的feature可以用对角线来表示,然后往下的时候只缩小height, 向右的时候只缩小weight。

  • 具体下采样的操作是用卷积来实现的,而且为了考虑到速度,向下和向右的参数各自都是shared的, 分别用的是3-3, stride 1-2和3-3 stride 2-1的卷积核.

  • 极端情况处理

从上图中可以看出,矩阵的右上和左下是空的,这是因为出现了ratio极端的情况,这样的不太利于训练,所以弃用.

应用

可以像FPN一样,将MatrixNets接在其它的backbone上去,作者做了一些对比,来说明有效性,结果如下

avator

打赏,谢谢~~

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,多谢支持~

打开微信扫一扫,即可进行扫码打赏哦