Few-shot Object Detection via Feature Reweighting

Few-shot Object Detection via Feature Reweighting

paper地址 codes地址

paper 理解

  • 传统的训一个detector需要很多的有标注的bboxes, 但是对于稀有的类别的话,这种方法可能不太适用。这个工作发展了一个few-shot的目标检测器,能够实现基于少量的样本就能实现检测一些新的目标。

如下图所示 avator

  • 主要方法是利用所有有labeled的base classes然后使用meta feature learner 和一个reweighting module快速调整到新的类别上面。其中feature learner的作用是抽取meta features 从而能够检测一些新的类别。reweighting module起到了一个转移作用,即如何将在base classes上训好的模型快速的通过这个模块利用少量的supprot examples来得到一个新的模型,并且新的模型能够同时检测base的classes以及新的classes.

  • 困难点是从few-shot 的classification目前还没有做的非常好,而现在要做的是few-shot的objection,即有分类和定位. 整体ppl如下

avator

当给定一张query image的时候, 会先抽取feature, 然后使用support images和reweighting模块来调整feature, 之后再送入head部分进行分类和回归,检测器用的是onestage的结构. 当有N个新的类别的时候,reweighting module会产生N个 reweighting vectors, 每一个都负责检测一个新的类别.这些权重向量是主要是做分类用的.为了确保泛化能力,训练的时候分为两个阶段,首先在base classes上面,然后在新的类别上面进行fine-tune. 其中reweighting module的输入是img和目标附近的mask,直接沿着深度的方向进行concat, 主要是想区分背景和前景。

  • 主要贡献点
  1. few shot object detection有很大的应用价值,

  2. 设计的few-shot detection module 能够学到泛化的meta features,还能够自动调整到新的类别上.

  3. 结果目前比较好

bbox的Loss和object的Loss和YOLO2里面的是一样的,但是对于分类的loss是下面形式的

avator

关于分类的loss,作者做了对比说明用了softmax-loss,即为了使得每一个类别的权重都预测本类别的分最高,其他类别的较低.

打赏,谢谢~~

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,多谢支持~

打开微信扫一扫,即可进行扫码打赏哦