对象分割--对实例敏感的全卷积网络

Instance-sensitive Fully Convolutional Networks ECCV2016

Instance-sensitive 这里是什么意思了， FCN 语义分割对同一类型的对象是不区分的，Instance-sensitive 就是区分同一类型的对象。

这里写图片描述

上图 c 就是 semantic segmentation， d 是 instance segmentation

本文是在 FCN 的基础上将同一类型的对象区分开来，即修改 FCN 的框架使其可以完成 instance segmentation

3 Instance-sensitive FCNs for Segment Proposal 3.1 From FCN to Instance FCN 当图像只有一个对象时，FCN 的结果就是 instance segmentation 当图像有两个相近的同类型对象时，怎么让FCN完成 instance segmentation了？如果对于两个相近同类型对象的相近区域，where one object is conjunct the other，如果我们能够区分谁是 left instance的右边，谁是 right instance 的左边，那么我们就可以用 FCN-like score maps 得到 instances

这里写图片描述

有没有 DPM Deformable Part Models 的意思，就是使用部件组成一个对象，这样就可以将对象区分开来。

Instance-sensitive score maps 这里我们在 FCN 中引入 relative positions 信息，原始FCN 中每个输出像素是 a classifier of an object category， 本文的FCN 每个输出像素是 a classifier of relative positions of instances

original FCN [1] where each output pixel is a classifier of an object category, we propose an FCN where each output pixel is a classifier of relative positions of instances.

instance-sensitive score maps

Instance assembling module 这个模块就是将各个部件组合起来构成一个 instance

整个系统如下图所示：

这里写图片描述

这里用一个小网络得到 objectness score，用于过滤 instances， 得到 highly scored output instances

本文主要和 deep mask 做对比：

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

该方法的问题： 1）对象尺寸问题，需要对多尺度图像进行处理 Only a fixed-size square sliding window is used. The network is applied on multi-scale images to find object instances of different sizes.

2） 对象类别问题，需要再对 对象 进行分类得到类别信息 The approach is blind to the object categories. Only a separate “objectness” classifica- tion sub-network is used to categorize the window as object or background. For the instance-aware semantic segmentation task, a separate downstream network is used to further classify the mask proposals into object categories