范数||x||（norm）笔记

1. 范数的含义和定义

范数是具有“长度”概念的函数。在线性代数、泛函分析及相关领域，是一个函数，它为向量空间内的所有向量赋予非零的正的长度或大小。另一方面，半范数可以为非零的向量赋予零长度。

例如，在二维欧式几何空间$R^2$中（简单理解就是二维坐标系）就有欧式范数。在这个向量空间的元素（比如向量$(3,7)$）常常在笛卡尔坐标系统中被画成一个从原点出发的箭头，而这个向量的欧式范数就是箭头的长度。

拥有（定义）范数的向量空间就是赋范向量空间，拥有（定义）办法书的向量空间就是赋半范向量空间

更加规范的定义：

假设V是域F上的向量空间；V的半范数是一个函数：$p:V\rightarrow R;x\rightarrow p(x)$，满足：

• $p(v)\ge 0$（具有半正定性）
• $p(av)=|a|p(v)$（具有绝对一次齐次性）
• $p(u+v)\le p(u)+p(v)$（满足三角不等式，或者称次可加性）

范数是一个半范数加上额外的性质：

• $p(v)=0$，当且仅当$v$是零向量（正定性）

若拓扑向量空降的拓扑可以被范数导出，这个拓扑向量空间被称为赋范向量空间。

2.例子

• 所有的范数都是半范数
• 平凡半范数，即$p(x)=0,\forall x \in V$
• 绝对值是实数集上的一个范数
• 对向量空间上的线性型$f$可以定义一个半范数：$x\rightarrow |f(x)|$

绝对值范数

绝对值范数为：

$$||x||=\sum^n_i|x_i|$$

是在由实数或虚数构成的一维向量空间中的范数

绝对值范数是曼哈顿范数的特殊形式

$L_p$范数

$L_p$范数是向量空间中的一组范数。$L_p$范数与幂平均有一定的联系，定义如下：

$$L_p(\vec{x})=||\vec{x}||_p=(\sum^b_{i=1}|x_i|^p)^{\frac{1}{p}}\ \ ,\ \vec{x}=\{x_1,x_2,x_3,...,x_n\},p\ge 1$$

图中的q应为p。这是p取不同值是，在$R^2$空间上的$L_p$范数等高线的其中一条。该图展示了各$L_p$范数的形状。

• $p=0 : ||\vec{x}||_0=x_i不等于0的个数$。注意，这里的$L_0$范数并非通常意义上的范数（不满足三角不等式或次可加性）

• $p=1 : ||\vec{x}||_1=\sum^{n}_{i=1}|x_i|$，即$L_1$范数是向量各分量绝对值之和，又称曼哈顿距离、最小绝对误差等。使用L1范数可以度量两个向量之间的差异，汝绝对误差和（Sum of Absolute Difference）

  由于L1范数的天然性质，对L1优化的解是一个稀疏解（查不到准确的定义，不过大概意思就是说这个解向量中很多项都是零），L1范数也就被称作稀疏规则算子

• $p=2 : ||\vec{x}||_2=\sqrt{\sum^n_{i=1}|x_i|^2}$，此为欧氏距离

• $p=+\infty : ||\vec{x}||_{\infty}=\lim\limits_{p\rightarrow\infty}(\displaystyle\sum_{i=1}^{n}|x_i|^p)^{\frac{1}{p}}=\underset{i}{max}\ |x_i|$^[1]，通常表示元素的最大值，即无穷范数或最大范数

欧几里得范数

在n维欧几里得空间$R^n$上，向量$x=(x_1,x_2,x_3,...,x_n)^T$的最符合直觉的长度由以下公式给出：

$$||x||_2=\sqrt{x_1^2+...+x_n^2}$$

根据勾股定理，它给出了从原点到点x之间的（通常意义下）的距离。欧几里得范数是$R^n$上最常用的范数，但正如下面所举出的，$R^n$上也可以定义其它的范数。然而，以下定义的范数都定义了同一个拓扑结构，因此它们在某种意义上都是等价的。

在一个n维复数空间$C^n$中，最常见的范数是：

$$||z||=\sqrt{|z_1|^2+...+|z_n|^2}=\sqrt{z_1\overline{z}_1+...+z_n\overline{z}_n}$$

以上两者又可以以向量与自身的内积的平凡根表示：

$$||x||=\sqrt{x^*x}$$

其中x是一个列向量$([x_1,x_2,...,x_n]^T)$，而$x^*$表示其共轭转置

以上公式适用于任何内积空间，包括欧式空间和复空间。在欧几里得空间里，内积等价于电机，因此公式可以写为：

$$||x||=\sqrt{x·x}$$

特别的，$R^{n+1}$中所有的欧几里得范数为同一个给定正实数的向量的集合是一个n维球面。

矩阵范数

矩阵可以看做向量空间上的一次向量的线性变换，矩阵范数就是用来衡量变化幅度大小的

诱导范数

由向量范数的$L_p$范数诱导而来：

列和范数

$$||A||_1=\underset{j}{max}\sum^m_{i=1}|a_{ij}|$$

即所有矩阵的列向量绝对值之和的最大值

谱范数

$$||A_2||_2=\sqrt{\lambda_1},\lambda_1为A^TA的最大特征值$$

即$A^TA$矩阵的最大特征值的开平方

行和范数

$$\infty -范数：||A||_{\infty}=\underset{i}{max}\sum^m_{j=1}||a_{ij}||$$

即所有矩阵行向量绝对值之和的最大值

非诱导范数

Frobenius范数

$$F-范数：||A||_F=\sum^m_{i=1}(\sum^n_{j=1}|a_{ij}|^2)^{\frac{1}{2}}$$

即矩阵元素绝对值的平方和再开平方

核范数

$$||A||_*=\sum^n_{i=1}\lambda_i,\lambda_i为矩阵A的奇异值$$

指矩阵奇异值的和

参考：

1. 范数-维基百科
2. L_p范数-维基百科
3. 【数学知识】||x||（范数 norm）

一些更深入的相关知识：

1. L1正则化引起稀疏解的多种解释
2. L1正则化的稀疏性解释
3. 为什么L1稀疏，L2平滑？

---

1. 看一个例子$\underset{x_i}{min}\ \underset{y_i}{max}\ |\varepsilon_i|,\varepsilon_i=x_i-y_i$.这个例子里面 |εi|是考察对象，而 xi 和 yi 是两个变量。xi 可以取很多值， yi也可以取很多值。两个下标的意思是：遍历所有的xi和yi取值。先看里面那一层，即 max|εi|.它的意思是，xi取一个固定的值（比如x1），yi遍历所有取值，使得|εi|最大值，这样就找到了(x1, ym1, |εi|1) 这样一个样本。然后，改变xi的值（比如x2），再遍历yi取值，又可以找到|εi|最大值，即 (x2, ym2, |εi|2）的情况。……以此类推，可以理解 min{ }，就是在 xi 取所有情况时，从找到的 |εi|1, |εi|2 .... 中找最小值。 ↩︎