OneStageo oneshotdet by matching anchor features

OneStageo oneshotdet by matching anchor features

主要内容

  • one-stage sysytem 同时做定位和识别的oneshotdet的工作.

  • 使用局部feature 做dense correlation matching 来找到对应关系

  • 使用一个geometric transformation model 来align features

  • 对correlation tensor 使用bilinear resampling 计算aligned features的detection score

网络结构

avator

  • 用backbone来得到feature,这里的输入有input image A和 class image C

  • 使用bilinear resample 调整class features的size到一个固定的大小

  • 将input features和class features 做 correlation matching得到一个 4维的correlation tensor T
  • 将correlation tensor T 经过TransformNet 得到一个新的合成的tensor P
  • 之后P会经过一些Head输出 localization boxes和detection scores.

thoughts

  • bilinear resample 是否有必要,会有多大的提升
  • correlation matching 的方法可以尝试在当前的离线oneshotdet和sot 方面做实验验证.
  • 文中说TransformNet是本文的一个核心的地方,其主要功能是将class image和input image的相结合的feature进行align
  • 文中说用FPN pyramids的办法做实验时发现在notrain的类别上面表现比较差,这一点要注意,因为当前使用的osd就是基于pyramids来设计的.

打赏,谢谢~~

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,多谢支持~

打开微信扫一扫,即可进行扫码打赏哦