记录：TensorFlow 中的 padding 方式

TensorFlow 中卷积操作和池化操作中都有一个参数 padding，其可选值有 ['VALID', 'SAME']。

在 TensorFlow 文档中只是给出了输出张量的维度计算方式，但是并没有说明当 padding='SAME' 时，如何进行补零操作。

其给出的输出张量的维度计算公式：

VALID 方式：

output_shape[i] = ceil((input_shape[i] - (filter_shape[i] - 1) * dilation_rate[i]) / strides[i])
# 但实际上几乎不会去管 dilation_rate 参数，都是 1，于是
output_shape[i] = ceil((input_shape[i] - filter_shape[i] + 1) / strides[i])
# 上式也是常见的
output_shape[i] = floor((input_shape[i] - filter_shape[i]) / strides[i]) + 1
# 一般我们只对图像平面上做卷积和池化，也就是一般 i 指的是图像平面上的 height 和 width 

 

SAME 方式：

output_shape[i] = ceil(input_shape[i] / strides[i])

VALID 方式其实是很好理解的，主要是 SAME 的 padding 方式，应该怎么样补零？

假设输入的张量平面上是 W×W 的矩阵，不考虑 batch 和 channel 这两个维度；filter 是 w×w 的矩阵；strides=[s, s]。暂时考虑在第 0 轴上，设需要补零的列数为 x，易知我们进行补零操作后，执行的就是以 VALID 方式进行的卷积，而且卷积后该矩阵的 shape=[new_W, new_W]，所以：

floor((W + x - w) / s) + 1 = new_W

因为 floor 是向下取整，所以：

0 ≤ (W + x - w) / s - (new_W - 1) < 1

由简单的不等式可以求出：

(s * (new_W - 1) + w - W) ≤ x < (s * new_W + w - W)

但实际上只要是按照 VALID 方式进行卷积，那多余的行或者列必然是被丢弃的，所以 x 取最小值就行。如果得到 min(x) = 3，那应该怎么补零呢？当需要补零的列（还是只在第 0 轴考虑，因为第 1 轴上情况完全相同）数为 x 时，需要补零的列数为：

padding_for_left = |x / 2| (向下取整操作)，padding_for_right = x - padding_for_left。涉及到上下时（也就是考虑高度方向时），把 left 换成 top，right 换成 bottom 即可。

下面使用一点代码片段来验证一下：

import numpy as np
import tensorflow as tf

input_7 = tf.constant([[1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7],
                                 [2.1, 2.2, 2.3, 2.4, 2.5, 2.6, 2.7],
                                 [3.1, 3.2, 3.3, 3.4, 3.5, 3.6, 3.7],
                                 [4.1, 4.2, 4.3, 4.4, 4.5, 4.6, 4.7],
                                 [5.1, 5.2, 5.3, 5.4, 5.5, 5.6, 5.7],
                                 [6.1, 6.2, 6.3, 6.4, 6.5, 6.6, 6.7],
                                 [7.1, 7.2, 7.3, 7.4, 7.5, 7.6, 7.7]])  

input_7 = tf.reshape(input_7, [1, 7, 7, 1])
filter =   tf.constant(np.ones([4, 4, 1, 1]), dtype=tf.float32)
stride = [1, 3, 3, 1]
conv_output = tf.nn.conv2d(input_7, filter=filter, strides=stride, padding='SAME')

with tf.Session() as sess:
    output = sess.run(conv_output)
    shape = output.shape[1], output.shape[2]
    print(output.reshape(shape))
# 本测试中，W=7, s=3, w=4

上述代码输出结果为：

[[19.8      29.4      15.9     ]
 [56.4      79.200005 41.199997]
 [40.2      55.600002 28.599998]]

这里计算出来的需要补零的列数为 3，如果简单的计算一下就可以知道在上边界和左边界分别补零一次，右边界和下边界补零两次（一次表示一行或者一列）。

而且通过计算可以看出，TensorFlow 是真的在进行补零，而不是边界复制或者镜像，更不是块复制，不是很明白为什么不进行边界复制，边界复制不是更好吗？

另外，池化过程和卷积操作有点区别，那就是卷积的 padding 是进行补零操作，但是池化并不是补零，而是补 -inf，-inf 表示负无穷大。为什么这样补值呢？因为我们的输出靠近边界的那些行或者列并不可能全是正数，也可能存在负数，但是负数是有意义的，是我们的网络提取出来的有意义的值，如果补零，那么就会丢失这些细节信息，所以补 -inf 保证这些信息能保留下来。