矩阵求导

“矩阵求导”似乎是一个三不管的区域。虽然原理确实是数学分析中所讲的多元函数求导，但是总结一些公式以及复合函数求导的法则还是必要的，毕竟逐分量地求导太累而且易出错，例如一旦涉及矩阵乘法，要把结果展开实在是太麻烦了，更不要说多层函数嵌套（对应于深层神经网络）的情形了。
如何在机器学习中应用矩阵求导（例如 BP 算法中很多资料中间会出现一步向量对矩阵求导，这份资料中用一条“线性变换的求导法则”代替了，避免了“向量对矩阵求导的结果是什么”这种玄学问题）。