摘要： 训练一个模型时大家都需要面对一个问题：参数优化。通常，我们做参数优化时都会先导出一个cost function，然后通过调整参数值来最大化或最小化这个cost function。这个过程听起来很简单，但真的做起来是个剧恶心的体力活！ 比方说你要用梯度方法做优化，得求一阶导二阶导吧，求得半死不活之后还 阅读全文

摘要： 通常学习器在训练集上的误差称为“训练误差”或“经验误差”，在新样本上的误差称之为“泛化误差”。显然，我们想得到泛化误差小的学习器。然而我们事先不知道新样本是什么，实际上能做的是努力使经验误差最小化。在很多情况下我们可以学习到一个经验误差很小的，在训练集上表现很好的学习器，但这是不是我们想要的学习器呢 阅读全文