【实例分割算法】Mask Rcnn+Solo+Solov2+CandInst
一、Mask Rcnn
1.基本原理
在Faster Rcnn基础上添加一个Mask预测分支，每个类一张特征图。
大致流程为，首先backbone提取基础特征，然后通过RPN获得proposal，接着通过RoI Align把proposal的feature map裁剪出来，然后接两个分支，一个是类别和bbox回归分支，一个是mask分支。
2. 网络框架
3.Faster Rcnn
4.RPN
思想：输入公共feature map,做3*3的卷积得到H/4*W/4*256的feature map，在feature map的每个cell上（真实是原图上，一个点对应原图上一个框）赋予9=3（3种size）*3（3种比例，1:1,1:2,2:1）个anchor，每个anchor需要检测该cell是不是目标（9*2=18维），以及目标的更精确的位置（9*4=36维），整个feature map得到W/4*H/4*（18+36=54）大小的feature map，接着就可以按分数取正负样本。
5.ROI Align/ROI-pooling
1）目的：由于有全连接层，需要将proposal对应的feature_map转成固定长度
2）方式：
ROI-pooling:直接量化，整个流程中有两次量化，一次是proposal对应到fature map(直接向下取整)，一次是ROI-pooling，分n*n的块不能完全切分（舍弃右下部分）。
ROI-align：对proposal对应的feature map（非整数）切成n*n的cell,对每个cell进行平分获得k（一般是4）个采样区域，每个区域双线性插值出中心点作为采样点，对k个采样点取最大值/平均值。
6.参考资料
https://www.cnblogs.com/wangyong/p/8523814.html
二、Solo
1.基本原理
Solo是2020年的方法，核心思想是把分割问题转为位置分类问题，从而实现不需要anchor和bbox、端到端的实例分割。
主要思路是，把feature map分成S*S的格子，如果某个实例的中心落在某个格子，那这个格子就负责这个实例类别和掩膜的预测，每个格子都有C类概率和1个H*W的mask。同时采用了FPN，目的是把相同中心但大小不同实例分开，分别在不同尺度的feature map上进行识别。
利用了CoordConv，目的是加强网络对坐标的处理，方法是生成归一化的坐标xy的tensor，与原来的tensor进行concatenate。
S很大时S*S会很大，因此mask分支拆为XY两个方向，每个分支的通道数是S，两个分支相乘的到mask的tensor。
2.网络结构
3.Loss
包括类别损失和mask损失，类别损失是Focol loss，mask损失是Dice loss。
4.Mask Rcnn和Solo对比
5.参考资料
http://www.360doc.com/content/20/1027/19/72090593_942674954.shtml
三、Solov2
1.基本原理
Solov2是2020年的模型，是在Solo上做的改进，改进包括1）mask生成的head，从预测掩膜tensor改成预测掩膜核+掩膜特征2个tensor，掩膜核对应的target部分卷积掩膜特征得到掩膜tensor，这样速度更快也更准确 2）改进掩膜NMS，改进的方式相当于结合soft nms、Fast nms、mask iou计算，提高了计算效率。
掩膜feature：将FPN的输出经过卷积和上采样融合成一个tensor。
2.网络结构
3.参考资料
http://www.360doc.com/content/20/1027/19/72090593_942674954.shtml
四、CondInst
1.基本原理
CondInst是2020年的模型，主要思路为用动态卷积的思想来生成实例敏感的滤波器来编码实例信息，不依赖box及RoI crop和特征对齐。用FCOS检测实例类别，然后用参数动态生成的mask head在原型mask和相对坐标图结合图上卷积生成相应实例mask。
2.网络结构
3.参考资料
https://zhuanlan.zhihu.com/p/138322144
