矩阵范数
1..向量的范数
- \(非负性:x\ne 0,则||x||>0,如果x=0,则||x||=0\)
- \(齐次性:||kx||=|k|||x||,k\in P\)
- \(三角不等式:||x+y||\le ||x||+||y||\)
1-范数
\[||x||_1=\sum\limits_{i=1}^{n}|x_i|
\]
2-范数/欧式范数
\[||x||_2=\sqrt{x_1^2+x_2^2+...,+x_n^2}=(x^Tx)^{\frac{1}{2}}
\]
无穷范数
\[||x||=\max\limits_{i}|x_i|
\]
p范数
\[||x||_p=(\sum\limits_{i=1}^{n}|x_i|^p)^{\frac{1}{p}}
\]
2.向量范数的性质
- \(有限维线性空间上的不同范数是等价的\)
- \(等价的概念:||x||_a,||x||_b是两种范数，若存在两个与x无关的正常数c_1,c_2,使得\)
\[c_1||x||_b\le ||x||_a \le c_2 ||x||_b
\]
\(则称||x||_a,||x||_b是等价的\)
- \(两个范数等价的充要条件是\)
\[\lim\limits_{n\to \infty}||x_n-x^*||_a =0 \Leftrightarrow \lim\limits_{n\to \infty}||x_n-x^*||_b =0,x^*是线性空间中的给定向量
\]
\(此时称序列\{x_n\}按范数收敛于x^*\)
\(也就是说等价的充要条件是他们具有相同的敛散性(即有相同的极限)\)
3.矩阵的范数
- \(非负性:A\ne 0,则||A||>0,如果A=0,则||A||=0\)
- \(齐次性:||kA||=|k|\ ||A||\)
- \(三角不等式:||A+B||\le ||A||+||B||\)
- \(次乘性:当矩阵乘积AB有意义时，有:||AB||\le ||A||||B||\)
设\(A=(a_{ij})\in C^{n\times n}\)
矩阵1范数
\[||A||_{m_1}=\sum\limits_{i=1}^{n}\sum\limits_{j=1}^{n}|a_{ij}|
\]
矩阵2范数/F-范数/弗罗贝尼斯范数
\[||A||_{m_{2}}=(\sum\limits_{i=1}^{n}\sum\limits_{j=1}^{n}|a_{ij}|^2)^{\frac{1}{2}}
\]
- \(A\in C^{m\times n},有正交矩阵U和V,||UA||_F=||A||_F=||AV||_F,即左乘或者右乘正交矩阵，矩阵的F范数都不变\)
矩阵无穷范数
\[||A||_{m_{\infty}}=n\cdot \max\limits_{i,j}|a_{ij}|
\]
4.算子范数
矩阵范数和向量范数的相容问题
若将向量视为矩阵，则根据矩阵范数的次乘性，应当有
\[||Ax||\le ||A||\ ||x||
\]
\[||A||\ge \frac{||Ax||}{||x||}
\]
\(但显然，右式可能不是一个常数,而是和向量x有关，而且肯定不能按照上面的推导将矩阵A的范数定义为 \frac{||Ax||}{||x||},因为如果A是不可逆的矩阵，则有非零向量x，可以使得Ax=0,这与矩阵的非负性相悖\)
- 定义矩阵范数和向量范数的相容
\(如果取定的向量范数||x||和矩阵范数||A||满足不等式\)
\[||Ax||=||A||\cdot ||x||
\]
\(则称向量范数||x||和矩阵范数||A|| 相容\)
算子范数/诱导范数的定义
\[||A||=\sup\limits_{||x||\ne 0} \frac{||Ax||}{||x||}=\max\limits_{||x||=1}||Ax||
\]
\(称该范数为向量范数诱导的矩阵范数或算子范数\)
\(虽然是算子范数，但实际还是一个矩阵范数\)
列范数
\[||A||_1=\max\limits_{j}\sum\limits_{i=1}^{m}|a_{ij}|
\]
谱范数
\[||A||_2=\sqrt{\lambda_{max}(A^TA)},\lambda_{max}(A^TA)是指矩阵A^TA特征值的绝对值的最大值
\]
行范数
\[||A||_{\infty}=\max\limits_{i}\sum\limits_{j=1}^{m}|a_{ij}|
\]
对于任何一种算子范数有
\[||(I-A)^{-1}||\le (1-||A||)^{-1}
\]
5.谱范数的性质和谱半径
性质
- \(||A||_2=\max\limits_{||x||_2=||y||_2=1}|y^TAx|\)
- \(||A^T||_2=||A||_2\)
- \(||A^TA||_2=||A||_2^2\)
- \(A\in C^{m\times n},有U\in C^{m\times m},V\in C^{n\times n},U,V是正交矩阵,即,U^TU=I,V^TV=I,则\)
\[||UAV||_2=||A||_2
\]
谱半径
\(设A\in C^{n\times n},\lambda_1,\lambda_2,...,\lambda_n为A的特征值,谱半径定义为\)
\[\rho(A)=\max\limits_{i}|\lambda_i|
\]
- \(A\in C^{m\times n},总有\)
\[\rho(A)\le ||A||
\]
\(即A的谱半径不会超过A的任何一种范数\)
- \(若A是方阵，A为正规矩阵,则\)
\[\rho(A)=||A||_2
\]
