多个卷积层间合并的分析

1 经过卷积层前后的变化

假设输入数据为 channel₁ × n_h × n_w 经过一个 k_h × k_w 的卷积核，步长为 s，padding为 p，则输出的空间维度为 ⌊( n_h​ − k_h​ + p​​ ) / s + 1⌋ × ⌊( n_w​ − k_w​ + p​ ) / s + 1​⌋，易知，输出空间存在 ⌊( n_h​ − k_h​ + p​​ ) / s + 1⌋ * ⌊( n_w​ − k_w​ + p​ ) / s + 1​⌋ 个单元。

下面用 m_h 和 m_w 分别代表输出的空间维度，此时输出空间内的一个单元在输入空间上的感受野为 k_h * k_w，那么输出空间内全部单元的感受野之和为 m_h * m_w * k_h * k_w，而输出空间在输入空间上感受野最大即为输入空间本身，即 n_h * n_{w 。}

下面根据不同情况分析（不考虑 padding）：

• k_h > s_h && k_w > s_w 时，输入空间上的一个单元会成为输出空间的多个单元的感受野，这样就会导致输出空间内全部单元的感受野之和大于输入空间本身，大于的具体数量即为重复计算的感受野_。
• k_h < s_h && k_w < s_w 时，输入空间上的部分单元不会成为输出空间的任何单元的感受野，这样就会导致输出空间内全部单元的感受野之和小于输入空间本身，小于的具体数量即为输入空间没有被感受的单元_。
• k_h == s_h && k_w == s_w 时，输出空间内全部单元的感受野之和等于输入空间本身。

2 卷积核的合并

要保证数个卷积层相当于一个卷积层，要做到两者对相同维度的输入，有相同维度的输出。

因为深度学习中卷积核大小往往大于步长，下面我们只考虑 k_h > s_h && k_w > s_w && p == 0 && s_n == s_w 时的情况。

2.1 两个3 × 3卷积核相当于一个5 × 5卷积核

假设输入数据为 channel₁ × n_h × n_w，经过一个 channel₁ × 3 × 3 的卷积核，输出的空间维度即为 channel₁ × ⌊( n_h​ − 3​​ ) / s_h + 1⌋ × ⌊( n_w​ − 3 ) / s_w + 1​⌋。

设 ⌊( n_h​ − 3​​ ) / s_h + 1⌋，⌊( n_w​ − 3 ) / s_w + 1​⌋ 分别为 m_h 和 m_w，再经过一个 channel₁ × 3 × 3 的卷积核，输出的空间维度即为 channel₁ × ⌊( m_h​ − 3​​ ) / s_h + 1⌋ × ⌊( m_w​ − 3 ) / s_w + 1​⌋。

• 当 s_n == s_w == 1 时，最终输出的空间维度为 channel₁ × n_h - 4  × n_w - 4，将 s_n == s_w == 1 带入维度输出公式并与 n_h - 4，n_w - 4 分别联立，可以得到 k_h == k_w == 5。即两个3 × 3卷积核相当于一个5 × 5卷积核。
• 当 s_n == s_w == 2 时:
1. 当 n_h，n_w 为偶数时，最终输出的空间维度为 channel₁ × ⌊ n_h​ / 2 ⌋ - 2  × ⌊ n_w / 2 ⌋ - 2，将 s_n == s_w == 1 带入维度输出公式并与 n_h​ / 2 - 2，n_w / 2 - 2 分别联立，可以得到 k_h == k_w == n / 2 + 3。即两个3 × 3卷积核相当于一个 (n / 2 + 3) × (n / 2 + 3) 卷积核。
2. 当 n_h，n_w 为奇数时，最终输出的空间维度为 channel₁ × ⌊ n_h​ / 2 ⌋ - 1  × ⌊ n_w / 2 ⌋ - 1，将 s_n == s_w == 1 带入维度输出公式并与 ⌊ n_h​ / 2 ⌋ - 1，⌊ n_w / 2 ⌋ - 1 分别联立，可以得到 k_h == k_w == ⌈ n / 2 ⌉ + 2。即两个3 × 3卷积核相当于一个 (⌈ n / 2 ⌉ + 2) × (⌈ n / 2 ⌉ + 2) 卷积核。

2.2 三个3 × 3卷积核相当于一个7 × 7卷积核

同理，当 s_n == s_w == 1 时，三个3 × 3卷积核相当于一个7 × 7卷积核。

 

2.3 总结

涉及多个卷积层的问题，要先一层层将输入空间维度、卷积核维度、步长代入，一层层计算到最后一层，算出最终输出的空间维度，将其作为结果，与初始输入空间维度联立，根据不同步长，可以得到相应的合并后卷积核。