机器学习工程师 - Udacity SVM边际误差计算

计算边际误差即计算 SVM 中两个间隔之间的距离。
三条线方程如下：
Wx+b=1
Wx+b=0
Wx+b=-1
由于这三条线为等距平行线，要想确定第一条线和第三条线之间的距离，我们只需要计算前两条线之间的距离，接着将这个数字乘以二。这也就是说我们需要确定图 1 中前两条线之间的距离。

　　　　　　　　　　　　图1

请注意，由于我们只需计算线条之间的距离，因此也可以将线条平移，直到其中一条线与原点相交（图 2）。这时得到的方程如下：
Wx=0
Wx=1

　　　　　　　　　　　　图 2

现在，第一条线的方程为 Wx=0，这意味着它与标记为红色的向量（图 3） W = (w₁, w₂)垂直。

　　　　　　　　　　　　图 3

该向量与方程为 Wx=1 的线条相交于蓝点（图 4）。假设该点的坐标为 (p,q)。那么我们可以得到下面两个结果：

w₁p + w₂q = 1（由于该点位于这条线上），并且
由于该点位于向量 W = (w₁, w₂)上，(p,q) 是 (w₁, w₂) 的倍数。

我们可以这样求解这个方程：对于某个 k 值而言，有 (p,q) = k(w₁, w₂)。那么我们的第一个方程将被转换为 k(w₁² + w₂²) = 1。因此，k = 1/(w₁²+w₂²)=1/(|W|²)。这也就是说，蓝点表示向量W/(|W|²)，如图 4 所示。

　　　　　　　　　　　　图 4

现在，两条线之间的距离是蓝色向量的范数。由于分母是一个标量，向量W/(|W|²)的范数正是|W|/(|W|²)，与 1/|W|（图 5）相同。

　　　　　　　　　　　　图 5

最后，最终距离是这连续两条平行线（图 6）之间的距离之和。由于每两条线之间的距离为 1/|W| ，那么总距离为 2/|W| 。

　　　　　　　　　　　　图 6