作者：Danny明泽
来源：公众号@3D视觉工坊
链接：LRNNet：轻量级FCB& SVN实时语义分割
公众号后台回复「LRNNet」，即可获得论文下载链接。
简介：语义分割可以看作是一种按像素分类的任务，它将特定的预定义类别分配给图像中的每个像素。该任务在自动驾驶和图像编辑等方面具有广泛的应用前景。近年来，轻量化神经网络的发展促进了资源约束的深度学习应用和移动应用。其中许多应用都需要使用轻量化网络对语义分割进行实时、高效的预测。为了实现高效、实时的分割，本文提出了一种基于精简非局部模块(LRNNet)的轻量级网络。为了实现更轻、更高效、更强大的特征提取，在resnet-style的编码器中提出了分解卷积块。同时，提出的非局部缩减模块利用空间区域的奇异向量来实现更有代表性的非局部特征缩减集成，计算量和存储成本都大大降低。实验证明了模型在轻量级、速度快、灵敏度和准确度之间的优势权衡。LRNNet在没有额外处理和预训练的情况下，仅使用精细标注的训练数据，在GTX 1080Ti卡上参数为0.68M和71FPS，在Cityscapes测试数据集上达到72.2%mIoU。本文中最值得关注的是FCB块：一个轻量级的分解卷积块(FCB)来建立一个特征提取网络(编码器)，如下图所示。分别对长程特征和短程特征进行分解卷积处理，并提出了一种具有广义奇异向量的非局部模块来建模长程相关性和全局特征选择，从而实现分割结果的一致性。
本文主要贡献：1）本文提出了一种分解卷积块(FCB)，通过更恰当地处理长程和短程特征，建立了一种轻量级、功能强大、效率高的有限元分析提取网络。2）提出非局部模块（SVN），利用区域奇异向量产生更有代表性的特征来建模远程依赖和全局特征选择。3）在Cityscapes和Camvid数据集上的LRNNet的参数大小、速度、计算和精确度之间的权衡最好。方法：预备知识：奇异值分解SVD等。
LRNNet:
如上图所示为轻量级编码器，它是一个三阶段resnet-style网络并且带有分解卷积块。
分解卷积块：分解卷积块是实现轻量化分割的常用方法。例如，扩张卷积增大感受野也是语义分割模型的重要组成部分。由于一维因子分解核函数更适合于空间信息特征。考虑到一个3×3卷积核被一个3×1和1×3卷积核取代，这样可以有相同的接收域和更少的参数。但是，如果忽略在两个1D卷积核之间交叉激活函数所造成的信息损失，它可能是3 - 3卷积核的秩近似1。假设空间语义不同区域具有不同的特性，如果卷积核的扩张率是1或小，卷积核可能不跨多个不同的空间语义区域，接受特征信息较少，因此秩近似可能更有效，反之亦然。
因此，大扩张的卷积核在空间上会接收到复杂且具有空间信息的远距离特征，在空间上需要更多的参数。同时，扩张小的卷积核在空间上会得到信息简单或信息较少的短期特征，空间上的参数也较少。如上图所示，FCB第一处理短程和空间信息特征分成两组1 d卷积通道连接，所以映像卷积减少了参数和计算。扩大接受域，与更大的扩张和FCB的利用2d核使用切除分离卷积来减少参数和计算。由于点卷积后有残差连接，最后设置了信道洗牌操作。总的来说，FCB对近距离特征采用一维低秩近似，对远距离特征采用深度空间二维扩张核，使得特征提取更加轻量级、更加丰富和强大。SVN模块：
一个轻量级的模型很难实现强大的特征提取。生成精简的、鲁棒的、有代表性的特征并将其结合成非局部模块是探索高效的非局部轻权重语义分割机制的重要途径。如上图所示，采用Conv1和Conv2两种方法降低了代价，这两种方法形成了瓶颈：将非局部操作的简化通道和用其区域优势奇异向量替换键和值。提出的SVN包括两个分支：较低的分支是来自输入的残余连接。上层分支是简化非局部操作的瓶颈，将特征图划分为空间子区域。SVN模块通过瓶颈结构和约简并具有代表性的区域优势奇异向量形成了一个约简有效的非局部运算。区域优势奇异向量是特征图区域最具代表性的特征向量。实验结果：Cityscapes验证集的可视化结果：
对Cityscapes验证集进行评估，包括准确性、推理时间、参数大小和计算量：
在Cityscapes测试集上的评价：
总结：本文提出了一种用于实时语义分割的LRNNet。提出的FCB单元探索了一种分解卷积块来处理近程和远程特征，为LRNNet编码器提供了轻量级、高效和强大的特征提取。SVN模块利用区域优势奇异向量构造有效的降低非局部运算，以非常低的代价来增强译码器。实验结果验证了模型在参数大小，速度，计算和精度之间本文仅做学术分享，如有侵权，请联系删文。
