数学卷积与卷积神经网络

卷积神经网络之卷积

数学的卷积公式定义为：从f(x) 和 g(x) 函数中生成了一个新的函数，表示把 g(x) 进行翻转平移后与 f(x) 函数相乘的重叠部分进行积分。看起来复杂，都是纸老虎，其实g函数翻转平移之后与f的重叠部分大多都是零。在实际应用中用来处理信号，挺有用的，像是用来简化傅里叶变换等。

一维连续卷积：

$$h(x)=(f*g)(x)= \int_{-\infty}^{\infty}f(t)g(x-t)dt$$

一维离散卷积：

$$h(x)=(f*g)(x)=\sum^{\infty}_{n=-\infty} f(n)g(x-n)$$

二维离散卷积：

$$h(x,y)=(f*g)(x,y)=\sum_{n}\sum_{m}f(n,m)g(x-n,y-m)$$

互相关（cross-correlation）：这是卷积神经网络里面的卷积，其计算方法为：

$$h(i,j)=\sum_{a=-\delta}^{\delta}\sum_{b=-\delta}^{\delta} f(a,b)g(i+a,j+b)$$

从公式里可以看出，$f(a,b)$表示卷积核，$g(i+a,j+b)$表示图片，说白了互相关就是卷积核与原始图片对应相乘再求和。与二维离散卷积对比可以看出，互相关和卷积不是相同的操作，互相关别没有对g(x,y)函数进行翻转。但是即使不翻转也能表示目标检测任务的两个目标：平移不变性和检测局部性。局部性取决于$\delta$的范围。

总结：

从图像处理的角度看，互相关操作，f函数为模板（滤波器），g函数为图像，互操作就是对图像进行滤波，比如消除噪声，特征增强等。

从信号处理的角度，看卷积，卷积就是对信号进行滤波，用冲击函数表示激励函数，然后根据冲击响应求解系统的零状态响应。