【最优化】优化中的转置卷积
\[\frac{\partial}{\partial K}\|A*K-B\|_F^2=2\mathcal{F}^{-1}\left[\overline{\mathcal{F}(A)}\odot\left(\mathcal{F}(A)\odot\mathcal{F}(K)-\mathcal{F}(B) \right)\right].
\]
现在考虑另一种形式
\[\begin{aligned}
\frac{\partial}{\partial K}\|A*K-B\|_F^2&=2\mathcal{F}^{-1}\left(\overline{\mathcal{F}(A)}\right)*\mathcal{F}^{-1}\left(\mathcal{F}(A)\odot\mathcal{F}(K)-\mathcal{F}(B) \right) \\
&=2\mathcal{F}^{-1}\left(\overline{\mathcal{F}(A)}\right)*(A*K-B)
\end{aligned}
\]
这里的\(\mathcal{F}^{-1}\left(\overline{\mathcal{F}(A)}\right)\)在一些文章中通常会被称为转置卷积，我们考虑转置卷积为\(B\)，于是
\[\begin{aligned}
\mathcal{F}^{-1}\left(\overline{\mathcal{F}(A)}\right)&=\mathcal{F}^{-1}\left({\mathcal{F}(B)}\right) \\
\overline{\mathcal{F}(A)}&=\mathcal{F}(B) \\
F^H\overline{A}F^H&=FBF
\end{aligned}
\]
观察傅里叶矩阵\(F\)和共轭\(F^H\)的关系，可以发现实际上只改变了行或列的排列顺序，因此\(B\)实际上是\(\overline{A}\)重排列后的结果。可以得到
\[B(i,j)=\overline{A}(n-i,n-j)=\overline{A}^{\circlearrowright 180°}
\]
即\(A\)的转置卷积\(B\)是共轭后再旋转180°得到的，于是求导可以写成
\[\frac{\partial}{\partial K}\|A*K-B\|_F^2=2\overline{A}^{\circlearrowright 180°}*(A*K-B)
\]
