学渣笔记之矩阵的导数与迹

矩阵的导数与迹

矩阵的导数

​ 对于一个将\(m\times n\)的矩阵映射为实数的函数\(f: \mathbb{R}^{m\times n}\mapsto\mathbb{R}\)，我们定义\(f\)对矩阵\(A\)的导数为

\[\bigtriangledown_Af(A) = \begin{bmatrix}\dfrac{\partial f}{\partial A_{11}} & \ldots & \dfrac{\partial f}{\partial A_{1n}}\\ \vdots & \ddots & \vdots \\\dfrac{\partial f}{\partial A_{m1}} & \ldots & \dfrac{\partial f}{\partial A_{mn}}\end{bmatrix} \]

而\(f(A)\)就是我们下面要介绍的迹。

方阵的迹

​ 对于一个\(n\)阶方阵\(A\)的迹被定义为方阵\(A\)的主对角线的元素之和，通常对方阵的求迹操作写成\(trA\),于是我们有

\[trA=\sum_{i=1}^nA_{ii} \]

一些有用的性质

1. \(tr ABC = tr BCA = tr CAB\)

   这是对三个方阵的积求迹，循环移位后的结果还是一样的，不仅2个方阵或者3个方阵的积求迹满足此性质，对其他更多个数的方阵的积求迹也满足此性质。

2. \(tr A = tr A^T\)

   这个就比较明显了，方阵转置后主对角线上的元素不会变

3. \(tr(A +B) = tr A + tr B\)

4. \(tr\ \alpha A= \alpha\ tr A\)

5. \(\bigtriangledown_AtrAB = B^T\)

   这个看起来有点麻烦，下面验证一下，设方阵\(A\)为

   \[A= \begin{bmatrix}a & b\\ c & d\end{bmatrix} \]

   设方阵\(B\)为

   \[B = \begin{bmatrix}e & f\\ g & h\end{bmatrix} \]

   那么有

   \[AB = \begin{bmatrix}ae + bg & af + bh\\ce + dg & cf + dh\end{bmatrix} \]

   所以有

   \[tr AB=ae + bg + cf + dh \]

   然后有

   \[\bigtriangledown_AtrAB=\begin{bmatrix}e & g\\ f & h\end{bmatrix} = B^T \]

   ​

6. \(\bigtriangledown_{A^T}f(A)=(\bigtriangledown_Af(A))^T\)

7. \(\bigtriangledown tr ABA^TC=CAB+C^TAB^T\)

8. \(\bigtriangledown_A|A| = |A|(A^{-1})^T\)

一个在后面用到的等式

\[\bigtriangledown_{A^T}tr ABA^TC=B^TA^TC^T+BA^TC \]

推导过程如下：

由\(\bigtriangledown_{A^T}f(A)=(\bigtriangledown_Af(A))^T\)自然有

\[\bigtriangledown_{A^T}trABA^TC=(\bigtriangledown_AtrABA^TC)^T=(CAB+C^TAB^T)^T \]

所以有

\[(CAB+C^TAB^T)^T=B^T(CA)^T+(AB^T)^TC=B^TA^TC^T+BA^TC \]

对\(\bigtriangledown_\theta J(\theta)\)的一点理解

​ Andrew ng在cs229-notes1中给出了一些公式，貌似还是有些东西并没有很明显的提出来，像我这种渣渣就有点晕。首先是给出的\(J(\theta)\)的矩阵表示如下

\[J(\theta)=\frac{1}{2}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2=\frac{1}{2}(\mathbf{X}\theta-\vec{y})^T(\mathbf{X}\theta-\vec{y}) \]

这个公式的推导过程还是比较简单的，下面的推导比较蛋疼，有些隐含的信息貌似Andrew ng没有明显指出来，对我这种渣渣就比较尴尬了。

\[\bigtriangledown_\theta J(\theta) = \bigtriangledown_\theta\frac{1}{2}(\mathbf{X}\theta-\vec{y})^T(\mathbf{X}\theta-\vec{y}) \]

强行展开

\[\bigtriangledown_\theta J(\theta) = \frac{1}{2}\bigtriangledown_\theta(\theta^T\mathbf{X}^T\mathbf{X}\theta-\theta^T\mathbf{X}^T\vec{y}-\vec{y}^T\mathbf{X}\theta+\vec{y}^T\vec{y}) \]

很明显，后面的\(\vec{y}^T\vec{y}\)是一个与\(\theta\)无关的常量，所以对\(\theta\)求偏导数为0，可以省略掉。假设\(\alpha\)是一个实数，那么我们有\(tr\ \alpha = \alpha\)。\(\theta\)是\(n\times 1\)的，\(\mathbf{X}\)是\(m\times n\)的，所以\(\theta^T\mathbf{X}^T\mathbf{X}\theta\)的维数变换是\((1\times n)\times (n \times m) \times(m\times n)\times(n\times 1)\)，所以结果是一个\(1\times 1\)的方阵；同理其他的加数也是\(1\times 1\)的方阵，所以有

\[\bigtriangledown_\theta J(\theta)=\frac{1}{2}\bigtriangledown_\theta tr(\theta^T\mathbf{X}^T\mathbf{X}\theta-\theta^T\mathbf{X}^T\vec{y}-\vec{y}^T\mathbf{X}\theta) \]

由于\(tr A = tr A^T\)和\(tr (A+B)=tr A + tr B\)，所以\(\theta^T\mathbf{X}^T\vec{y}=\vec{y}\mathbf{X}\theta\)，然后就有

\[\bigtriangledown_\theta J(\theta)=\frac{1}{2}\bigtriangledown_\theta(tr\ \theta^T\mathbf{X}^T\mathbf{X}\theta-2tr\ \vec{y}\mathbf{X}\theta) \]

对\(tr\ \vec{y}\mathbf{X}\theta\)，有\(tr\ \vec{y}\mathbf{X}\theta=tr\ \theta\vec{y}\mathbf{X}\)，又有\(\bigtriangledown_\theta tr\ AB = B^T\)，所以有\(\bigtriangledown_\theta tr\ \theta\vec{y}\mathbf{X}=(\vec{y}\mathbf{X})^T=\mathbf{X}^T\vec{y}\)；又因为

\[\dfrac{\partial \mathbf{X}^T\mathbf{A}\mathbf{X}}{\partial \mathbf{X}}=(\mathbf{A}+\mathbf{A}^T)\mathbf{X} \]

所以有\(\bigtriangledown_\theta tr\ \theta^T\mathbf{X}^T\mathbf{X}\theta=(\mathbf{X}^T\mathbf{X}+(\mathbf{X}^T\mathbf{X})^T)\theta=2\mathbf{X}^T\mathbf{X}\theta\)，这样子就好办了

\[\therefore\quad\bigtriangledown_\theta J(\theta) = \mathbf{X}^T\mathbf{X}\theta - \mathbf{X}^T\vec{y} \]

令\(\bigtriangledown_\theta J(\theta)= 0\)可以求出

\[\theta = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\vec{y} \]

参考资料

1. Andrew NG的ML第二课以及其相关笔记
2. 机器学习中常用的矩阵求导公式