矩阵及矩阵范数求导

矩阵求导公式

基本公式：
Y = A * X --> DY/DX = A^T,

Y = X * A --> DY/DX = A

Y=X^T*A--> DY/DX = A

Y = A * X--> DY^T/DX = A^T

Y = A * X -->DY/DX^T = (DY^T/DX)^T=A

Y = A^T * X * B --> DY/DX = A * B^T

Y = A^T * X^T * B --> DY/DX = B * A^T

乘积的导数： 
d(f*g)/dx=(df^T/dx)g+(dg/dx)f^T

dY/dX^T = (dY^T/dX)^T

dY^T/dX = (dY/dX^T)^T

 

1.矩阵Y对标量x求导：

相当于每个元素求导数后转置一下，注意M×N矩阵求导后变成N×M了

    Y = [y(ij)] --> dY/dx = [dy(ji)/dx]

2. 标量y对列向量X求导：

注意与上面不同，这次括号内是求偏导，不转置，对N×1向量求导后还是N×1向量

y = f(x1,x2,..,xn) --> dy/dX =(Dy/Dx1,Dy/Dx2,..,Dy/Dxn)^T

3. 行向量Y对列向量X求导：

注意1×M向量对N×1向量求导后是N×M矩阵。

将Y的每一列对X求偏导，将各列构成一个矩阵。

重要结论：

dX^T/dX = I

d(AX)^T/dX = A^T

4. 列向量Y对行向量X^T求导：

转化为行向量Y^T对列向量X的导数，然后转置。

注意M×1向量对1×N向量求导结果为M×N矩阵。

dY/dX^T = (dY^T/dX)^T

5. 向量积对列向量X求导运算法则：

注意与标量求导有点不同。

d(UV^T)/dX = (dU/dX)V^T + U(dV^T/dX)

d(U^TV)/dX = (dU^T/dX)V + (dV^T/dX)U

重要结论：

d(X^TA)/dX = (dX^T/dX)A + (dA^T/dX)X = IA + 0X = A

d(AX)/dX^T = (d(X^TA^T)/dX)^T = (A^T)^T = A

d(X^TAX)/dX = (dX^T/dX)AX + (d(AX)^T/dX)X = AX + A^TX

6. 矩阵Y对列向量X求导：

将Y对X的每一个分量求偏导，构成一个超向量。

注意该向量的每一个元素都是一个矩阵。

7. 矩阵积对列向量求导法则：

d(UV)/dX = (dU/dX)V + U(dV/dX)

重要结论：

d(X^TA)/dX = (dX^T/dX)A + X^T(dA/dX) = IA + X^T0 = A

8. 标量y对矩阵X的导数：

类似标量y对列向量X的导数，

把y对每个X的元素求偏导，不用转置。

dy/dX = [ Dy/Dx(ij) ]

重要结论：

y = U^TXV = ΣΣu(i)x(ij)v(j) 于是 dy/dX = [u(i)v(j)] = UV^T

y = U^TX^TXU 则 dy/dX = 2XUU^T

y = (XU-V)^T(XU-V) 则 dy/dX = d(U^TX^TXU - 2V^TXU + V^TV)/dX = 2XUU^T -2VU^T + 0 = 2(XU-V)U^T

9. 矩阵Y对矩阵X的导数：

将Y的每个元素对X求导，然后排在一起形成超级矩阵。

10.乘积的导数

d(f*g)/dx=(df^T/dx)g+(dg/dx)f^T

结论

d(x^TAx)=(d(x^TT)/dx)Ax+(d(Ax)/dx)(x^TT)=Ax+A^Tx  （注意：^TT是表示两次转置）

转自：https://blog.csdn.net/u010025211/article/details/51646739

 https://blog.csdn.net/txwh0820/article/details/46392293