DeepLab V1 论文笔记

DeepLab V1 论文笔记

主要的内容

DeepLab 是DeepLab 系列的第一个工作,里面用当时分类比较好的VGG作为base的网络,将其中的max-pooling处作了修改,并使用带孔卷积来解决下采样问题,还使用了Dense CRF来解决空间不变性的问题。效果在当时是非常好的。

整体把握

  • 图像分割面临的challenge
  1. 下采样导致的细节信息的丢失

  2. CNN的空间不变性

  3. 物体的多scale问题

因为下采样会导致分辨率下降,自然会将细节的信息丢失一些,这对于分类的任务其实关系并不大,而且下采样还能够具有空间的不变性,即一个物体在图中的位置并不会影响类别,但是对于分割的任务就不同了,物体的位置发生了变化,那么分割的结果自然也会发生相应的变化,因为分割是像素级别的分类,从这个角度实际上可以看出来,其实cnn对于low-level的任务其实有些不太擅长,比如分割,要在像素级别去分类,但是对于high-level的任务却是非常擅长的,比如分类,在vgg中就有好多个max-pooling,将feature浓缩的很小了仍然可以分出其类别。所以上面的两个challenge,是相互矛盾的。第三个实际上很好理解,即物体有大有小,解决的办法通常是用多个scale的feature map。

  • dilated convolution

刚才提到,vgg网络中用了很多的max-pooling层,用max-pooling的好处是每个像素都有较大的receptive field,因为是从大的feature map给”浓缩”过来的,并且减小了shape,使得计算量变小了,但是缺点就是分辨率下降,导致局部信息丢失。

那么有没有一种办法能够使得每个像素有较大的receptive field的同时又不用使用max pooling呢,作者用的就是dilated convolution.

这个卷积其实也很好理解,通常的卷积就是filter在feature map作sliding window, 现在dilated convolution是在filter的上面加一些0(或许也可以是其他的吧),使得filter有很多孔的感觉,如下图所示。

avator

最左边的图(a)实际上就是通常的卷积,用了周围的9个采样点,而中间的是2-dilated的带孔卷积,它的感受野是7-7的,可见同样是采样9个点,但是其看的范围明显加大,图(c)是步长又加了的情况,4-dilated,看的范围更大了, 感受野是15-15的。这个是指数级增长的感受野,以前是线性增长。

  • Dense CRFs

原文中说”To overcome these limitaitons of short-range CRFs, we integrate into our system the fully connected CRF model…”. CRF在传统图像处理上的应用有一个作用是平滑,CRF的思想就是在决定一个位置的像素时或者说label(因为在分割的任务中就相当于是对像素点进行分类)会考虑到周围邻居的像素值,这样的话能够抹除一些噪音,但是通过CNN得到的feature map在一定程度上已经足够地平滑了,所以short range的CRF没有什么意义,作者是采用了fully connected CRF, 这样考虑的就是全局的信息了。 CRF的model的energy function 长的像下面这样

其中的x 即gt的label的信息,是个向量,或者理解成把矩阵拉成了一维的向量也可以。

其中 上式的第一项叫做”unary potential”,即

即代表其是其真实的label的熵,其中里面的probabilty是CNN计算出来的。 上式的第二项叫”pairwise potential”, 即

其中$\mu(x_i,x_j)$ 是”label compatibility”项,即当两个label相同的时候能量才可以相互传,否则的放太是0。从上式可以看到,对于img上的任意的两个点,都有对应的能量,所以叫”fully connected” 或者”dense”.其中$k^{m}$是高斯核

其中$p_i$代表位置,所以是个两维的,$f_i$也可以理解成$p_i$, $I_i$ 是像素值,如果是多通道的,那就是多维的。由此可见如果位置越近,像素点也接近的话,那么第一项就会越大,即能量就会越大。第二项同理理解。而且这里面有5个参数。

另外,CRF是后处理,并不参与训练,在inference的时候对feature map做完CRF后,再双线性插值resize到原图的尺寸,feature map是8s的,所以是可以的。

  • 损失函数

损失函数用的是CE,并且每个位置的权重都是一样的。

打赏,谢谢~~

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,多谢支持~

打开微信扫一扫,即可进行扫码打赏哦