【学习笔记】doubly block toeplitz matrix 在加速矩阵差卷积上的应用

文档链接，原文 $16\times 9$ 的矩阵有一处写错了。

CNN 的卷积是执行了 $w'_ {i,j}=\sum\limits_{x,y}w_{i+x,j+y}\times C_{x,y}$，有人认为每次平移卷积核，运算量很大，又是乘法又是加法。

现在我们把 $w_{x,y}$ 展开形成一个 $[n\times m,1]$ 的向量 $V$，然后构造一个大小为 $[(n+1)\times (m+1),n\times m]$ 矩阵 $P$ 使得 $X=PV$ 得到的 $X$ 压缩成 $[n+1,m+1]$ 矩阵之后取右下部分能得到正确的 $w'$

虽然我感觉变成矩阵乘向量之后运算更多了啊。

这个矩阵 $P$ 可以通过把 teoplitz 矩阵拼起来得到（或者说叫做 doubly block matrix，那么先给出一个 teoplitz 矩阵的示例：

$$\left( \matrix{ a_{0} & a_{-1} & a_{-2} & \cdots & \cdots & \cdots & a_{-(N-1)} \cr a_{1} & a_{0} & a_{-1} & a_{-2} & & & \vdots \cr a_{2} & a_{1} & a_{0} & a_{-1} & & & \vdots \cr \vdots & \ddots & \ddots & \ddots & \ddots & \ddots & & \vdots \cr \vdots & & & \ddots & a_{0} & a_{-1} & a_{-2} \cr \vdots & & & & a_{1} & a_{0} & a_{-1} \cr a_{M-1} & \cdots & \cdots & \cdots & a_{2} & a_{1} & a_{0} } \right)$$

不难发现：$a_{i,j}=V_{i-j}$，所以说该矩阵也可以被压缩成一个向量。上面提到了，doubly block teoplitz 矩阵是由若干块 teoplitz 矩阵拼起来的，即现有若干大小相同的 teoplitz matrix $A_{-(M-1)},\dots A_{N-1}$，那么一个 doubly block teoplitz 矩阵可以如下：

$$\left( \matrix{ A_{0} & A_{-1} & A_{-2} & \cdots & \cdots & \cdots & A_{-(N-1)} \cr A_{1} & A_{0} & A_{-1} & A_{-2} & & & \vdots \cr A_{2} & A_{1} & A_{0} & A_{-1} & & & \vdots \cr \vdots & \ddots & \ddots & \ddots & \ddots & \ddots & & \vdots \cr \vdots & & & \ddots & A_{0} & A_{-1} & A_{-2} \cr \vdots & & & & A_{1} & A_{0} & A_{-1} \cr A_{M-1} & \cdots & \cdots & \cdots & A_{2} & A_{1} & A_{0} } \right) .$$

注意无论是 teoplitz 矩阵还是拼起来的新矩阵，我们都不要求它是方阵，或者说，只要满足 $a_{i,j}=V_{i-j}$ 即可

记卷积核为$\left(\begin{matrix}k_{1,1}&k_{1,2}\\k_{2,1} &k_{2,2}\end{matrix}\right)$ ，我们将卷积核展开成一个大小 $[n+1,m+1]$ 的矩阵 $K=\left(\begin{matrix}k_{2,2}&k_{2,1}&0&0\\k_{1,2}&k_{1,1}&0&0\\0&0&0&0\\0&0&0&0\end{matrix}\right)$，左上角把卷积核中心对称了，剩下的全是 $0$

取出它的所有列向量，展开成一个 teoplitz 矩阵：

$$F_0=\left(\matrix{ k_{22} & 0 & 0 \cr k_{21} & k_{22} & 0 \cr 0 & k_{21} & k_{22} \cr 0 & 0 & k_{21}} \right) \quad F_1= \left( \matrix{ k_{12} & 0 & 0 \cr k_{11} & k_{12} & 0 \cr 0 & k_{11} & k_{12} \cr 0 & 0 & k_{11}} \right)\quad F_2=F_3= \left( \matrix{ 0 & 0 & 0 \cr 0 & 0 & 0 \cr 0 & 0 & 0 \cr 0 & 0 & 0} \right)$$

然后把这些碎片拼成：

$$F=\left( \matrix{ F_0 & F_3 & F_2 \cr F_1 & F_0 & F_3 \cr F_2 & F_1 & F_0 \cr F_3 & F_2 & F_1 } \right)$$

第一列是依次 $F_0\dots F_3$，右上角你可以理解成把矩阵接到下面再让对角线延申得到的。

不妨假设你现在的二位图片大小为 $3\times 3$，把它展开成一个大小为 $[9,1]$ 的向量，于是我们通过

$$\left(\matrix{ k_{22} & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \cr k_{21} & k_{22} & 0 & 0 & 0 & 0 & 0 & 0 & 0 \cr 0 & k_{21} & k_{22} & 0 & 0 & 0 & 0 & 0 & 0 \cr 0 & 0 & k_{21} & 0 & 0 & 0 & 0 & 0 & 0 \cr k_{12} & 0 & 0 & k_{22} & 0 & 0 & 0 & 0 & 0 \cr k_{11} & k_{12} & 0 & k_{21} & k_{22} & 0 & 0 & 0 & 0 \cr 0 & k_{11} & k_{12} & 0 & k_{21} & k_{22} & 0 & 0 & 0 \cr 0 & 0 & k_{11} & 0 & 0 & k_{21} & 0 & 0 & 0 \cr 0 & 0 & 0 & k_{12} & 0 & 0 & k_{22} & 0 & 0 \cr 0 & 0 & 0 & k_{11} & k_{12} & 0 & k_{21} & k_{22} & 0 \cr 0 & 0 & 0 & 0 & k_{11} & k_{12} & 0 & k_{21} & k_{22} \cr 0 & 0 & 0 & 0 & 0 & k_{11} & 0 & 0 & k_{21} \cr 0 & 0 & 0 & 0 & 0 & 0 & k_{12} & 0 & 0 \cr 0 & 0 & 0 & 0 & 0 & 0 & k_{11} & k_{12} & 0 \cr 0 & 0 & 0 & 0 & 0 & 0 & 0 & k_{11} & k_{12} \cr 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & k_{11} }\right) \cdot \left(\matrix{ i_{11} \cr i_{12} \cr i_{13} \cr i_{21} \cr i_{22} \cr i_{23} \cr i_{31} \cr i_{32} \cr i_{33}} \right)$$

得到卷积结果，新向量大小是 $[16,1]$，理论上是取右下角。