向量、矩阵的范数/模（norm）

norm：翻译为模或者内积，广义来说是一个函数

vector（向量） norms

1. eculidean（欧几里得）norm

vector $x = (x_1;x_2; ...; x_n)$
其eculidean norm为 ：$||x|| = \sqrt{x^T x} = (\sum_{i=1}^n x_i^2)^{\frac 12} = \sqrt{x_1^2 +x_2^2 + ...+x_n^2}$

2. P norm (P>=1)

$$||x||_p = (\sum_{i=1}^n {|x_i|}^p)^{\frac 1p}$$

常用：1 norm 、2norm（eculidean norm）、$\infty$ norm

matrix norms

there have a matrix A $\in C^{m \times n}$

1. frobenius matrix norm (F norm)

$$||x||_F^2 = \sum_{ij}{|a_{ij}|}^2 = \sum_i {||A_{i*}||}_2^2 =\sum_j {||A_{*j}||}_2^2 = trace(A^* A)$$

2. matrix 2-norm

$$||A||_2 = \sqrt {\lambda_{max}}$$

$$\lambda_{max} \quad {是A^* A 最大特征值}$$

3. matrix 1-norm

$$||A||_1 = \, {列向量最大1模}$$

4. matrix $\infty$ norm

$$||A||_{\infty} =\, {行向量最大1模}$$