矩阵范数

1..向量的范数

• $非负性:x\ne 0,则||x||>0,如果x=0,则||x||=0$
• $齐次性:||kx||=|k|||x||,k\in P$
• $三角不等式:||x+y||\le ||x||+||y||$

1-范数

$$||x||_1=\sum\limits_{i=1}^{n}|x_i|$$

2-范数/欧式范数

$$||x||_2=\sqrt{x_1^2+x_2^2+...,+x_n^2}=(x^Tx)^{\frac{1}{2}}$$

无穷范数

$$||x||=\max\limits_{i}|x_i|$$

p范数

$$||x||_p=(\sum\limits_{i=1}^{n}|x_i|^p)^{\frac{1}{p}}$$

2.向量范数的性质

• $有限维线性空间上的不同范数是等价的$
• $等价的概念:||x||_a,||x||_b是两种范数，若存在两个与x无关的正常数c_1,c_2,使得$

$$c_1||x||_b\le ||x||_a \le c_2 ||x||_b$$

$则称||x||_a,||x||_b是等价的$

• $两个范数等价的充要条件是$

$$\lim\limits_{n\to \infty}||x_n-x^*||_a =0 \Leftrightarrow \lim\limits_{n\to \infty}||x_n-x^*||_b =0,x^*是线性空间中的给定向量$$

$此时称序列\{x_n\}按范数收敛于x^*$
$也就是说等价的充要条件是他们具有相同的敛散性(即有相同的极限)$

3.矩阵的范数

• $非负性:A\ne 0,则||A||>0,如果A=0,则||A||=0$
• $齐次性:||kA||=|k|\ ||A||$
• $三角不等式:||A+B||\le ||A||+||B||$
• $次乘性:当矩阵乘积AB有意义时，有:||AB||\le ||A||||B||$

设$A=(a_{ij})\in C^{n\times n}$

矩阵1范数

$$||A||_{m_1}=\sum\limits_{i=1}^{n}\sum\limits_{j=1}^{n}|a_{ij}|$$

矩阵2范数/F-范数/弗罗贝尼斯范数

$$||A||_{m_{2}}=(\sum\limits_{i=1}^{n}\sum\limits_{j=1}^{n}|a_{ij}|^2)^{\frac{1}{2}}$$

• $A\in C^{m\times n},有正交矩阵U和V,||UA||_F=||A||_F=||AV||_F,即左乘或者右乘正交矩阵，矩阵的F范数都不变$

矩阵无穷范数

$$||A||_{m_{\infty}}=n\cdot \max\limits_{i,j}|a_{ij}|$$

4.算子范数

矩阵范数和向量范数的相容问题

若将向量视为矩阵，则根据矩阵范数的次乘性，应当有

$$||Ax||\le ||A||\ ||x||$$

$$||A||\ge \frac{||Ax||}{||x||}$$

$但显然，右式可能不是一个常数,而是和向量x有关，而且肯定不能按照上面的推导将矩阵A的范数定义为 \frac{||Ax||}{||x||},因为如果A是不可逆的矩阵，则有非零向量x，可以使得Ax=0,这与矩阵的非负性相悖$

• 定义矩阵范数和向量范数的相容
  $如果取定的向量范数||x||和矩阵范数||A||满足不等式$

$$||Ax||=||A||\cdot ||x||$$

$则称向量范数||x||和矩阵范数||A|| 相容$

算子范数/诱导范数的定义

$$||A||=\sup\limits_{||x||\ne 0} \frac{||Ax||}{||x||}=\max\limits_{||x||=1}||Ax||$$

$称该范数为向量范数诱导的矩阵范数或算子范数$
$虽然是算子范数，但实际还是一个矩阵范数$

列范数

$$||A||_1=\max\limits_{j}\sum\limits_{i=1}^{m}|a_{ij}|$$

谱范数

$$||A||_2=\sqrt{\lambda_{max}(A^TA)},\lambda_{max}(A^TA)是指矩阵A^TA特征值的绝对值的最大值$$

行范数

$$||A||_{\infty}=\max\limits_{i}\sum\limits_{j=1}^{m}|a_{ij}|$$

对于任何一种算子范数有

$$||(I-A)^{-1}||\le (1-||A||)^{-1}$$

5.谱范数的性质和谱半径

性质

• $||A||_2=\max\limits_{||x||_2=||y||_2=1}|y^TAx|$
• $||A^T||_2=||A||_2$
• $||A^TA||_2=||A||_2^2$
• $A\in C^{m\times n},有U\in C^{m\times m},V\in C^{n\times n},U,V是正交矩阵,即,U^TU=I,V^TV=I,则$

$$||UAV||_2=||A||_2$$

谱半径

$设A\in C^{n\times n},\lambda_1,\lambda_2,...,\lambda_n为A的特征值,谱半径定义为$

$$\rho(A)=\max\limits_{i}|\lambda_i|$$

• $A\in C^{m\times n},总有$

$$\rho(A)\le ||A||$$

$即A的谱半径不会超过A的任何一种范数$

• $若A是方阵，A为正规矩阵,则$

$$\rho(A)=||A||_2$$