fpn论文笔记

fpn论文笔记

主要想法

特征金字塔的主要想法是利用不同scale的feature来使得结果更好,因为不同scales的feature的语义可能不太一样。与特征金字塔对应的也有个概念叫图像金字塔,即是不同level的image分别去提feature,这样的话明显的是时间上面的花费太多。所以这种方法很少在实际中被应用。此外在用image pyramid进行end to end的训练的时候对显存也是个挑战。所以之前有这样用的,但是也只是在test的时候才会用image pyramid,但是这样就会导致train和test的不一致性。

其实要产生多个scales的feature 的表示的话,不只可以用image pyramid,用feature pyramid也是可以的。这就是这个paper的创新点。相当于是在网络的内部实现了这种具有层级关系的features,但同时因为这些feature可能会来息于不同的深度,导致他们之间可能有比较大的语义理解上的gaps,所以如何克服这一点也很关键。

其实SSD里面就已经用到了这种想法,但是SSD并没有reuse high-resolution maps of the feature,而是从某一层之后就加了几层来产生新的feature。但是其实higher-resolution maps 对于检测小物体是非常关键的。

contributions

FPN提的feature pyramid对于所有的scales都有比较strong的语义。具体是通过低-resolution 和 high-resolution之间的一个结合,即layer-connections,见下图。

avator

其中里面的操作是这个

avator 因为feature之间的shape是不一样的,所以顶层的要先进行一个上采样,然后才能够进行相加,在相加这个地方,也有的是用的concat的操作,也可以把上采样操作变成一个新的可以学习的层也是可以的。

打赏,谢谢~~

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,多谢支持~

打开微信扫一扫,即可进行扫码打赏哦