mosaic in semantic segmentation

mosaic failed in semantic segmentaion

1. problem

为了PCL比赛，实现了mmseg的mosaic

经过mosaic ratio = 0的验证和dataloader的visualization，实现并未出现问题。

2. 猜想

segmentation注重context的信息，各模型都在使用各式各样的方法来建模context，而mosaic反其道而行之。将context强行截断，PSP使用了其它图片的context pooling来作为feature，对最终结果用负面影响。

为啥mosaic在detection中效果显著？而在segmentation中不好？

segmentation是dense prediction (classification)，而detection不是。det其实是将localization问题转为了regression，而seg同时完成了classification和localization。

det中也使用dilation conv，FPN等trick来提升模型感受野，从而更多的利用context。但det更多的是关注于bbox内object的语义信息，如何使用更好的feature来localize这个object。
seg是个全局的scene parsing问题，只有一角是很难预测的。

强行解释，不知所言