常用矩阵运算
作者:桂。
时间:2017-09-09 12:48:45
链接:http://www.cnblogs.com/xingshansi/p/7498175.html
一、复数相乘
可以表示为分块的形式:
二、范数
A-范数基本定义
p = 0,0范数,对应非零元素个数;
p = 1,1范数,也成和范数;
p = 2,常称为Euclidean范数,也成Frobenius范数
p = ∞, 无穷范数,也称极大范数。
直接定义p,则p范数或Minkowski p范数,也叫Holder范数。
B-其他常用范数
1-谱范数(spectrum norm)
其中是矩阵A的最大奇异值,即
最大特征值的正平方根。
谱范数也称最大奇异值范数或者算子范数(operator norm)。
2-Mahalanobis范数
其中是正定矩阵。
三、矩阵的迹
A-迹的一般性质
迹等于特征值之和:
而根据SVD分解特性(PCA、KL变换均有用到),可知特征值体现的是能量,故矩阵的迹可以与Euclidean范数建立联系:
B-迹的其他特性
其实矩阵的迹,借助矩阵分解来理解会容易很多,迹的其他特性:
由于1标量可以,其本身看作与迹等价,从而有(tr(AB)=tr(BA)、对角和=迹,借助这两条性质可证):
C-迹的微分特性
1)若W是mxm的矩阵:
2)若W可逆:
3)对于矩阵W、A,有
4)若W非奇异,
5)对于矩阵W、A:
6)对于矩阵W、A、B,且W非奇异:
四、行列式
给出行列式定义:
对于一个三角矩阵A:
另外,
五、矩阵求逆
A-矩阵求逆基本性质
若A\B\C可逆:
若A为对角阵:
若A非奇异:
B-矩阵求逆引理
求逆引理,也称Sherman-Morrison公式:若A是一个nxn的可逆矩阵,且x和y是两个nx1的向量,使得 可逆,则:
该引理可进一步推广为矩阵之和的求逆公式:
简化的形式:
分块矩阵求逆:
1)若A可逆:
2)若A、D均可逆:
C-广义逆矩阵
广义逆矩阵参考之前的博文。
六、Hadamard积与Kronecker积
A-矩阵的直和
mxm的矩阵A与nxn的矩阵B,其直和记作:,它是一个(m+n)x(m+n)的矩阵,
B-Hadamard积
Hadamard积其实就是对应元素相乘。
两个mxn的矩阵、
,其Hadamard积记作:
,
C-Kronecker积
Kronecker积表示的是矩阵元素与另一矩阵相乘的运算,用表示。
1)右Kronecker积:mxn矩阵A和pxq的矩阵B:
2)左Kronecker积:mxn矩阵A和pxq的矩阵B:
其中同样可以写为
。
七、矩阵梯度
一个基本形式是:
借助该形式,即可完成一般的梯度求解:
同时,结合梯度的四个基本法则,便可完成常用的梯度求解。
1)线性法则
2)乘积法则
3)商法则
4)链式法则