摘要： 先试想一下，对于一个简单的二分类问题，我们如何选择合适的算法？ 我们有许许多多的H，如何选择出最为合适的算法？ 最合理的方法是：对于每一个H，我们选择出Eout最小的g，然后对于各个g，再选择Eout最小的。然而，我们并不知道Eout怎么求。 使用Ein显然不合理。 我们之前就说过，Etest的作用 阅读全文

摘要： 从一个问题说起： 当我们使用H10去拟合曲线的时候，其实我们只想要H2的结果。如果从H10变回到H2呢？ 所以我们只需要添加上限制条件：w3=...=w10=0即可。现在呢，我们可以放宽一点条件：任意8个w为0即可。 但是像这种问题是NP-Hard问题，需要枚举所有的情况。 我们再放宽一点条件： 对 阅读全文

摘要： 我们之前解决过一个理论问题：机器学习能不能起作用？现在来解决另一个理论问题：过度拟合。 正如之前我们看到的，很多时候我们必须进行nonlinear transform。但是我们又无法确定Q的值。Q过小，那么Ein会很大；Q过大，就会出现过度拟合问题。如下图所示： 那么overfitting具体受什么 阅读全文