摘要：
拉格朗日乘子法：应用在求有约束条件的函数的极值问题上。 通常我们需要求解的最优化问题有如下几类： (i) 无约束优化问题，可以写为: min f(x); (ii) 有等式约束的优化问题，可以写为: min f(x), s.t. h_i(x) = 0; i =1, ..., n (iii) 有不等式约 阅读全文
摘要：
过拟合： Overfitting就是指Ein(在训练集上的错误率)变小，Eout(在整个数据集上的错误率)变大的过程 Underfitting是指Ein和Eout都变大的过程 从上边这个图中，虚线的左侧是underfitting，右侧是overfitting，发生overfitting的主要原因是： 阅读全文
摘要：
转自http://blog.csdn.net/sjkldjflakj/article/details/51886277 不同于以往的批量学习，即给了许多的已标记好的资料来学习出一个假设函数，online learning 的学习资料也就是样例是逐个到来了，边学习边修正自己的假设函数然后，给出答案 比 阅读全文