RepVGG

1.RepVGG

参考：
RepVGG网络简介
BN详解

RepVGG在训练和推理的时候采用不同的网络结构，从而加速网络的推理速度。RepVGG的主要内容是在推理阶段执行Structural re-parameterization，即图A所示，将多分支结构转换为一个3x3的卷积，具体如下：

图A解释：

• 将1x1卷积转换成3x3卷积
• 将BN转换成3x3卷积
• 将3x3卷积核与BN合并成一个3x3卷积
• 将三个3x3卷积核融合成一个

1.1 将1x1卷积转换成3x3卷积

这个过程比较简单，如下图所示，以1x1卷积层中某一个卷积核为例，只需在原来权重周围补一圈零就行了，这样就变成了3x3的卷积层，注意为了保证输入输出特征图高宽不变，此时需要将padding设置成1（原来卷积核大小为1x1时padding为0）。

1.2 将BN转换成3x3卷积

对于只有BN的分支由于没有卷积层，所以我们可以先自己构建出一个卷积层来。如下图所示，构建了一个3x3的卷积层，该卷积层只做了恒等映射，即输入输出特征图不变。

1.3 将3x3卷积与BN合并成一个3x3卷积

$M_{:,i,:,:}$代表batch中所有特征图的第i个channal，设$M_{:,i,:,:}$是由卷积核$W_{:,i,:,:}^{\prime }$通过卷积得到的，所以可以将$M_{:,i,:,:}$旁边乘的$\frac{{\gamma }_i}{{\sigma }_i}$提取到$W_{:,i,:,:}^{\prime }$旁边，并将${\beta }_i-\frac{{\mu }_i{\gamma }_i}{{\sigma }_i}$作为卷积核的一个偏置。
【注】在推理阶段，${\mu }_i$和${\sigma }_i$已经是一个固定的值，所以可以进行上述操作。

1.4 将三个3x3卷积核融合成一个