范数及其应用

作者：@houkai
本文为作者原创，转载请注明出处：https://www.cnblogs.com/houkai/p/10160680.html

---

范数

范数的一般化定义：设$p\geq 1$的实数，p-norm定义为：

$$|| x ||_{p}\; :=\; (\sum_{i=1}^{n}{\left| x_{i} \right|^{p}})^{\frac{1}{p}}$$

L0范数

$$\left| \left| x \right| \right|_{0}\; :=\; ^{0}\sqrt{\sum_{i=0}^{n}{x_{i}^{0}}}$$

严格来讲，L0不属于范数，上面的公式让人难以理解。在实际应用中，人们往往采用以下定义：

$$\left| \left| x \right| \right|_{0}\; \; =\; \#\left( i \right)\; with\; x_{i}\; \neq \; 0$$

其表示向量中所有非零元素的个数。

L1范数

$$\left| \left| x \right| \right|_{1}\; :=\; \sum_{i=1}^{n}{\left| x_{i} \right|}$$

也称为曼哈顿距离。

L0范数是指向量中非0的元素的个数。如果我们用L0范数来规则化一个参数矩阵W的话，就是希望W的大部分元素都是0。换句话说，让参数W是稀疏的。看到了“稀疏”二字，大家都应该从当下风风火火的“压缩感知”和“稀疏编码”中醒悟过来，原来用的漫山遍野的“稀疏”就是通过这玩意来实现的。

但你又开始怀疑了，是这样吗？看到的papers世界中，稀疏不是都通过L1范数来实现吗？脑海里是不是到处都是||W||1影子呀！

L1范数和L0范数可以实现稀疏，L1因具有比L0更好的优化求解特性而被广泛应用。

L2范数

范数中最常见，也最著名的非L2范数莫属。

$$\left| \left| x \right| \right|_{2}\; :=\; \sqrt{\sum_{i=1}^{n}{x_{i}^{2}}}$$

L2范数的优点

从学习理论的角度来说，L2范数可以防止过拟合，提升模型的泛化能力。
从优化或者数值计算的角度来说，L2范数有助于处理condition number不好的情况下矩阵求逆很困难的问题。

L1和L2的差别，为什么一个让绝对值最小，一个让平方最小，会有那么大的差别呢？

下降速度：
L1就是按绝对值函数的“坡”下降的，而L2是按二次函数的“坡”下降。
模型空间的限制：
对于L1和L2规则化的代价函数来说，我们写成一下形式：

$$Lasso:\; \min_w{||y-Xw||^2},\; s.t.\ ||w||_1\leq{C}\\ Ridge:\; \min_w{||y-Xw||^2},\; s.t.\ ||w||_2\leq{C}\\ $$

考虑二维的情况，等高线与norm ball相交的地方就是最优解。L1-ball的最优点大都出现在"角点"处，这便大概率产生了稀疏性；L2-ball却不可以，它只是一种规则化手段。

无限范数

infinity norm:

$$\left| \left| x \right| \right|_{\infty }\; :=\; ^{\infty }\sqrt{\sum_{i=1}^{n}{x_{i}^{\infty }}}$$

即：

$$\left| \left| x \right| \right|_{\infty }\; =\; ^{\infty }\sqrt{\sum_{i=1}^{n}{x_{i}^{\infty }}}\; =\; ^{\infty }\sqrt{x_{j}^{\infty }}\; \; =\; \max \left( \left| x_{j} \right|\right)$$

表示的是X向量中最大元素的长度。

机器学习中的应用

正则化

对模型复杂度进行惩罚，如果惩罚项选择L1，则是我们所说的Lasso回归，而L2则是Ridge回归。

贝叶斯

正则化项从贝叶斯学习理论的角度来看，其相当于一种先验函数分布。

即当你训练一个模型时，仅仅依靠当前的训练集数据是不够的，为了实现更好的预测（泛化）效果，我们还应该加上先验项。

而L1则相当于设置一个Laplacean先验，而L2则类似于 Gaussian先验。

L1先验对大值和小值的tolerate很好，而L2先验则倾向于均匀化大值和小值。

贝叶斯回归和图模型

回归模型$y=Xw+\epsilon$，可以看做是：

$$p(y|X; w,\lambda)=N(Xw,\lambda) ,\; p(\epsilon)=N(0,\lambda)$$

贝叶斯分布：

$$p(\epsilon)=\frac{1}{\sqrt{2\pi}\delta}*\exp(-\frac{\epsilon^2}{2\delta^2})$$

所以：

$$p(y|x;w)=\frac{1}{\sqrt{2\pi}\delta}*\exp(-\frac{(y-w^Tx)^2}{2\delta^2})$$

对极大似然MLE取对数:

$$\begin{split} l(w)&=log(\prod_{i=1}^{m}{\frac{1}{\sqrt{2\pi}\delta}*\exp(-\frac{(y-w^Tx)^2}{2\delta^2})}) \\ &=mlog(\frac{1}{\sqrt{2\pi}\delta}) - \frac{1}{2\delta^2}{\sum_{i=1}^{m}{(y-w^Tx)^2}} \end{split}$$

即：

$$w_{MLE}=arg\; min\sum_{i=1}^{m}{(y-w^Tx)^2}$$

这就导出了平方损失函数。这是在我们对参数 w 没有加入任何先验分布的情况下。

在数据维度很高的情况下，我们的模型参数很多，模型复杂度高，容易发生过拟合。这个时候，我们可以对参数 w 引入先验分布，降低模型复杂度。

Ridge Regression

假设参数w服从协方差为$\alpha$的标准高斯分布。

$$\begin{split} L(w)&=p(y|x;w*p(w))\\ &=\prod_{i=1}^{m}{\frac{1}{\sqrt{2\pi}\delta}*\exp(-\frac{(y-w^Tx)^2}{2\delta^2})})* \prod_{j=1}{n}{\frac{1}{\sqrt{2\pi}\alpha}*\exp(-\frac{(w)^2}{2\alpha^2})}, w是n个参数\\ &=\prod_{i=1}^{m}{\frac{1}{\sqrt{2\pi}\delta}*\exp(-\frac{(y-w^Tx)^2}{2\delta^2})})* \frac{1}{(2\pi)^{n/2}}\frac{1}{|\Sigma|^{1/2}}exp[-\frac{1}{2}{w^T\Sigma^{-1}w}] \end{split}$$

取对数，得：

$$\begin{split} l(w)&=log(L(w)) \\ &= m\log{\frac{1}{\sqrt{2\pi}}} + nlog\frac{1}{\sqrt{2\pi}} -\frac{1}{2}\log{|\Sigma|}- \frac{1}{2\delta^2}{\sum_{i=1}^{m}{(y-w^Tx)^2}}-\frac{1}{2}\frac{1}{\alpha}w^Tw \end{split}$$

和w有关的项：

$$J(w)=\frac{1}{m}{||y-w^Tx||_2} + \lambda||w||_2$$

ridge regression 并不具有产生稀疏解的能力，也就是说参数并不会真出现很多零，只是会让权值在0附近分布很密集。

假设我们的预测结果与两个特征相关，L2正则倾向于综合两者的影响，给影响大的特征赋予高的权重；而L1正则倾向于选择影响较大的参数，而舍弃掉影响较小的那个。实际应用中L2正则表现往往会优于 L1正则，但 L1正则会大大降低我们的计算量。

Lasso

如果对w引入Laplace分布呢？Laplace分布：

$$f(x|u,b)=\frac{1}{2b}\exp({-\frac{|x-u|}{b}})$$

重复之前的推导过程我们很容易得到：

$$w_{MAP} = arg \min(\frac{1}{2\delta^2}{\sum_{i=1}^{m}(y-w^Tx)^2} + \frac{1}{2b^2}{||w||_1})$$

LASSO 仍然是一个 convex optimization 问题，它的优良性质是能产生稀疏性，导致 w 中许多项变成零。等价于L1正则化。

Elastic Net

既然 L1和 L2正则各自都有自己的优势，那我们能不能将他们 combine 起来？于是就有了混合先验概率，公式比较复杂，参数约束如下：