向量的范数
L0范数 表示向量中非零元素的个数
L1范数 表示向量x中非零元素的绝对值之和。L1范数有很多的名字,例如我们熟悉的曼哈顿距离、最小绝对误差等。
使用L1范数可以度量两个向量间的差异,如绝对误差和(Sum of Absolute Difference):
一个例子,如下展示了两个二维向量(x1、x2)的L1范数。
L2范数 表示向量元素的平方和再开平方,我们用的最多的度量距离欧氏距离就是一种L2范数。在回归里面,有人把有它的回归叫“岭回归”(Ridge Regression),有人也叫它“权值衰减weight decay”。
像L1范数一样,L2也可以度量两个向量间的差异,如平方差和(Sum of Squared Difference):
一个例子,如下展示了两个二维向量(x1、x2)的L2范数。
L2范数通常会被用来做优化目标函数的正则化项,防止模型为了迎合训练集而过于复杂造成过拟合的情况,从而提高模型的泛化能力。
L-∞范数 它主要被用来度量向量元素的最大值。也叫切比雪夫距离
范数=点到坐标零点的距离
切比雪夫距离,通俗来讲就是两个向量在每个维度上差值的最大值。
一个例子,如下展示了两个二维向量(x1、x2)的L2范数(切比雪夫距离)。