向量范数和矩阵范数

范数

范数分为向量范数和矩阵范数，概念经常忘记，这里总结一下。

向量范数

对于向量\(x=[x_1,x_2,...,x_N]\)，其范数定义如下：

p-范数

\(\|x\|_p=(\sum_{i=1}^N|x_i|^p )^{1/p}\)

对向量元素绝对值的p次方求和后，再计算1/p次幂。

特殊地，当p取0，1，2，\(\infty\)，\(-\infty\)，时，对应范数意义如下。

0-范数

特殊地，数学中认为，向量的0范数即向量中非零元素个数。

1-范数

\(\|x\|_1=\sum\limits_{i=1}^N|x_i|\)

向量的1范数即向量中元素的绝对值之和。到原点的距离之和。

2-范数

\(\|x\|_2=\left(\sum\limits_{i=1}^N|x_i|^2\right)^{\frac12}\)

向量的2范数也称欧几里得范数，也就是通常说的向量长度。

\(\infty\)-范数

\(\|x\|_\infty=\max\limits_{i}|x_i|\)

向量的正无穷范数即向量元素绝对值中的最大值。到原点的最远距离。

\(-\infty\)-范数

\(\|x\|_{-\infty}=\max\limits_i|x_i|\)

向量的负无穷范数即向量元素绝对值中的最小值。到原点的最近距离。

矩阵范数

对于矩阵\(A=(a_{ij})_{m\ast n}\)，其范数定义如下：

0-范数

矩阵的0-范数同样标识矩阵中非零元素的个数。可以表示矩阵的稀疏程度。

1-范数

\(\|A\|_1=\max\limits_j\sum\limits_{i=1}^m|a_{ij}|\)

矩阵的1-范数，也称列和范数，即所有矩阵列向量的绝对值之和的最大值。

2-范数

\(\|A\|_2=\sqrt{\lambda_1}\)，\(\lambda_1\)是\(A^TA\)的最大特征值(所以说方阵才有2-范数)。

矩阵的2-范数，也称谱范数，即\(A^TA\)的最大特征值开平方。

\(\infty\)-范数

\(\|A\|_\infty=\max\limits_i\sum\limits_{j=1}^m|a_{ij}|\)

矩阵的\(\infty\)-范数，也称行和范数，即所有矩阵行向量的绝对值之和的最大值。

F-范数

\(\|A\|_F=\left(\sum\limits_{i=1}^m\sum\limits_{j=1}^na_{ij}^2\right)^{\frac12}\)

矩阵的F-范数，即Frobenius范数，矩阵元素的平方和再开平方。