踩刹车——regularization

从一个问题说起：

当我们使用H₁₀去拟合曲线的时候，其实我们只想要H₂的结果。如果从H₁₀变回到H₂呢？

所以我们只需要添加上限制条件：w₃=...=w₁₀=0即可。现在呢，我们可以放宽一点条件：任意8个w为0即可。

但是像这种问题是NP-Hard问题，需要枚举所有的情况。

我们再放宽一点条件：

对于linear regression问题，这类squared 条件很好求解。

 

 

求解过程主要依赖于Lagrange Multiplier。其次需要结合linear regression中需要用到的推导：

也就是说，添加限制条件之后的线性回归就等价于其error measure为E_aug的线性回归算法。

在上述推导中C始终未出现，但是却有一个λ，λ的选择对于算法会产生怎么的影响呢？

可以看出λ越大相当于C越小。而微小的λ（相当于微小的约束）会产生极其良好的效果。

为什么加上约束条件之后就会使得算法表现更良好呢？因为加上约束条件，就相当于对H进行了约束，使得d_vc减小。

 

 

现在只有一个问题：如何选择出一个最优的λ。

、

没有什么方法，用多个λ试一试挑选出最好的λ即可。具体的挑选过程其实是一个看仪表盘的过程（validation）。