数学-矩阵计算(1)矩阵和向量的求导法则
机器学习、模式识别等领域,都是需要借助数学的,所以对于数学的理解和运用是十分重要的,这里先转载网上暂时找到的矩阵求导的一小部分。成长路漫漫,多学一点,就能更加接近自己的梦想!
矩阵分四个博文介绍,这里是第一个。
下面的(一部分)来自某个pdf中,因为不知道出处,所以也就没法引用了。见谅!
一、矩阵的元素级别求导
1.1 行向量对元素求导
设是 n 维行向量,x 是元素,那么:
1.2 列向量对元素求导
设是 m 维列向量,x 是元素,那么:
1.3 矩阵对元素求导
设是 m×n 的矩阵,x 是元素,那么:
1.4 元素对行向量求导
设 y 是元素,是 q 维行向量,那么:
1.5 元素对列向量求导
设 y 是元素,是 p 维列向量,那么:
1.6 元素对矩阵求导
设 y 是元素,是p×q 矩阵,那么:
1.7 行向量对列向量求导
设是 n 维行向量,是p 维列向量,那么;
1.8 列向量对行向量求导
设是m 维列向量,是q 维行向量,那么:
1.9 行向量对行向量求导
设是n 维行向量,是q 维行向量,那么:
1.10 列向量对列向量求导
设是m 维列向量,是p 维列向量,那么:
1.11 矩阵对行向量求导
设是m×n 的矩阵,是 q 维行向量,那么:
1.12 矩阵对列向量求导
设是m×n 的矩阵,是p 维列向量,那么:
1.13 行向量对矩阵求导
设是n 维行向量,是p×q 的矩阵,那么;
1.14 列向量对矩阵求导
设是 m 维列向量,是p×q 的矩阵,那么:
1.15 矩阵对矩阵求导
设是m×n 的矩阵,是p ×q 的矩阵,那么:
举例1:设,,那么按照上面的1.12,结果为:
举例2:设,,那么按照上面的1.15,得到结果为:
参考资料:
[1] http://www.psi.toronto.edu/matrix/intro.html#Intro
[2] http://www.psi.toronto.edu/matrix/calculus.html
[3]http://www.stanford.edu/~dattorro/matrixcalc.pdf
[4] http://www.colorado.edu/engineering/CAS/courses.d/IFEM.d/IFEM.AppD.d/IFEM.AppD.pdf
[5] http://www4.ncsu.edu/~pfackler/MatCalc.pdf
[6] http://center.uvt.nl/staff/magnus/wip12.pdf
[7] 新浪博客http://blog.sina.com.cn/s/blog_61c0518f0100f6wu.html[8] 维基百科https://en.wikipedia.org/wiki/Matrix_calculus#Numerator-layout_notation