【ML】Matrix Differentiation

ML的时候经常会用到矩阵求导。

好比Gradient Descent中就有用到。

Cost Function:

$J(\theta) = \frac{1}{2m} (X\theta - y)^{T}(X\theta - y)$.

Gradient Descent Process:

$\theta = \theta - \frac{\alpha}{m}(\theta^{T}X^{T}X -  y^{T}X)^T$.

这个就可以用矩阵求导来导出：

按照分量来说，$\theta_i = \theta_i  - \alpha\frac{\partial J}{\partial\theta_i} $,

这里$\alpha$是learning rate.

这样合起来就有$\theta = \theta - \alpha\left(\frac{\partial J}{\partial\theta}\right)^{T}$.

多元函数的Jacobian是一个行向量。

具体内容网上随便搜Matrix Differentiation就好。

http://www.atmos.washington.edu/~dennis/MatrixCalculus.pdf

不能上传PDF，非常可惜，以后可能链接就失效了。