Deep Metric Learning using Triplet Network

Deep Metric Learning using Triplet Network

Abstract

  • 提出了一个triplet network model
  • 目的是通过距离的比较学习到有用的表示
  • 在多个数据集上发现效果是好于Siamese network
  • 在无监督学习上可能的应用

task的定义

数据集P上根据一个chosen rough 相似度函数r, 对于任意的triplets,x,x1,x2, 满足 r(x, x1) > r(x, x2). 其中x与x1是相同类别,x与x2是不同的类别.

希望学到一个metric以及一个对应的similar function S,使得

S(x, x1) > S(x, x2) 只要 r(x, x1) > r(x, x2).

具体的算法是学到一个函数 F

S(x1,x2) = L2(F(x1)-F(x2)) 

  • 网络结构是

avator

即输入三元组,经过一个共同的backbone得到各自的feature,然后中间的输出是两个”距离”, 之后再去将距离进行比较.

  • loss function取的是MSE, 即看成了一个回归的问题,回归的目标是(0,1).

avator

  • 与siamese网络的结构比较(相同的backbone)

avator

在无监督方面可能的应用

因为TripletNet可能通过样本之间的比较来学习,而不是直接根据样本的labels, 因此有可能在无监督学习方面有所应用。

  • Using spatial information

由于物体和图像块在空间上比较接近的话也可以认为是相似的, 因此对于同一张图可以使用几何距离来度量patches之间的相似度来作为函数r(x1, x2).

  • Using temporal information

视频中相近地两桢可以认为是相同的物体,因此在关于时序的无监督分类上面,也可以尝试TripletNet中的方法得到一个好的embedding空间.

打赏,谢谢~~

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,多谢支持~

打开微信扫一扫,即可进行扫码打赏哦