摘要：
for batch&supervised binary classfication，g≈f <=> Eout(g)≥0 achieved through Eout(g)≈Ein(g) and Ein(g)≈0 其中Ein是某一个备选函数h在数据D上犯错误的比例，在整个数据集上犯错误的比例为Eout 阅读全文
摘要：
过拟合： Overfitting就是指Ein(在训练集上的错误率)变小，Eout(在整个数据集上的错误率)变大的过程 Underfitting是指Ein和Eout都变大的过程 从上边这个图中，虚线的左侧是underfitting，右侧是overfitting，发生overfitting的主要原因是： 阅读全文
摘要：
Online Learning是工业界比较常用的机器学习算法，在很多场景下都能有很好的效果。本文主要介绍Online Learning的基本原理和两种常用的Online Learning算法：FTRL（Follow The Regularized Leader）[1]和BPR（Bayesian Pr 阅读全文
摘要：
转自http://www.cnblogs.com/huashiyiqike/p/3568922.html在学习算法的过程中，常常需要用到向量的求导。下边是向量的求导法则。 拉格朗日乘子法：应用在求有约束条件的函数的极值问题上。 通常我们需要求解的最优化问题有如下几类： (i) 无约束优化问题，可以写 阅读全文
摘要：
边界函数Bounding Function（成长函数的上界） 根据成长函数的定义，猜测 ——>break point K restricts maximum possible mh(N) a lot for N>k bounding functionB(N, k): maximum possible 阅读全文
摘要：
(1)定义VC Dimension： dichotomies数量的上限是成长函数，成长函数的上限是边界函数： 所以VC Bound可以改写成： 下面我们定义VC Dimension： 对于某个备选函数集H，VC Dimension就是它所能shatter的最大数据个数N。VC Dimension = 阅读全文
摘要：
这里主要总结Linear Regression，Linear Classification，Logistic Regression。 1.Linear Regression 线性回归的基本思想：寻找直线/平面/超平面，使得输入数据的残差最小 线性回归算法： 最终的线性回归的结果为： 其中：X+ 的求 阅读全文
摘要：
错误衡量（Error Measure） 有两种错误计算方法： 第一种叫0/1错误，只要【预测≠目标】则认为犯错，通常用于分类；通常选择，错误比较大的值作为y˜的值 第二种叫平方错误，它衡量【预测与目标之间的距离】，通常用于回归。通常选择，错误均值作为y˜的值 举例说明： 还有一种错误叫做，均值错误e 阅读全文
摘要：
多分类问题：有N个类别C1,C2,...,Cn,多分类学习的基本思路是“拆解法”，即将多分类任务拆分为若干个而分类任务求解，最经典的拆分策略是：“一对一”，“一对多”，“多对多” (1)一对一 给定数据集D={(x1,y1),(x2,y2),...,(xn,yn)},yi€{c1,c2,...,cN 阅读全文
摘要：
别人的决策树笔记：http://blog.csdn.net/sb19931201/article/details/52491430 决策树是一种最常见的分类模型，决策树是基于树结构来进行决策的，一个决策树的图如下所示 决策过程的最终结论对应了我们希望的判定结果。 决策树的基本学习算法如下： 构建树的 阅读全文