语义分割之GCN

1:文字回答:总结各种卷积方式

1)普通正方形标准卷积

2)空洞卷积——为了让固定大小的卷积核看到更大范围的区域,用空洞卷积代替pooling下采样。

3)非对称卷积——将标准3x3卷积拆分成一个1x3卷积和3x1卷积,在不改变感受野大小的情况下减少计算量

4)组卷积,深度可分离卷积——组卷积是对输入特征图进行分组,每组分别进行卷积。

5)分组卷积对通道进行随机分组——为了达到特征之间的相互通信,使用channel shuffle。对组卷积之后的特征图进行重组,保证下面的卷积其输入来自不同的组,因此信息可以在不同组之间流转。

6)每组卷积用不同尺寸卷积核——同一层的特征图可以使用多个不同尺寸的卷积核,以获得不同尺度的特征,再把这些特征结合起来,得到的特征往往比使用单一卷积核要好。为了尽可能减少参数,一般先用1x1卷积将特征图映射到隐空间,再在隐空间做卷积。

7)通道间的特征分配不同权重——无论是在inception, denseNet, ShuffleNet里面,我们对所有通道产生的特征都是不分权重直接结合。用注意力机制的方法通过学习的方式来自动获取每个特征通道的重要程度,然后依据计算出来的重要程度去提升有用的特征并抑制对当前任务用处不大的特征。

8)可变形卷积——规则形状的卷积核可能会限制特征的提取,如果赋予卷积核形变的特性,让网络根据Label反传下来的误差自动的调整卷积核的形状,适应网络重点关注的感兴趣的区域,就可以提取更好的特征。例如网络会根据原始位置学习一个offset偏移量,得到新的卷积核,那么一些特殊情况就会成为这个更泛化的模型的特例。

2:文字回答:CNN能够同时满足定位和分类的准确性吗?简述理由

不能。分类和定位天然对立。对于分类任务,模型必须具有不变性,以适应目标的各种形式,如平移和倒转。对于定位任务,模型应该是对变换敏感的,即能够精确定位语义类别的每个像素。

3:代码实现:用GCN实现对PASCAL VOC 2012数据集的分割

posted @ 2020-10-15 20:11  sariel_sakura  阅读(475)  评论(0编辑  收藏  举报