虚若怀谷

摘要： 版权声明： 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com前言： 决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将得到的决策树做成图片展示出来）等。但是同时，单决策树又有一些不好的地方，比如说容易over-fitting，虽然有一些方法，如剪枝可以减少这种情况，但是还是不够的。 模型组合（比如说有Boosting，Bagging等）与决策树相关的算法比较多，这些算法最终的结果是生成N(可能 阅读全文

摘要： GBDT(GradientBoostingDecisionTree)又叫MART（MultipleAdditiveRegressionTree)，是一种用于回归的机器学习算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。当把目标函数做变换后，该算法亦可用于分类或排序。本文主要从高层明确几个GBDT概念，主要讲GBDT的两个版本以及GBDT是什么不是什么。详细介绍见文中的链接。1.GBDT的两个不同版本（重要）目前GBDT有两个不同的描述版本，两者各有支持者，读文献时要注意区分。残差版本把GBDT说成一个残差迭代树，认为每一棵回归树都在学习前N-1棵树的残差，之前我写的GBDT入门教 阅读全文

摘要： GBDT(GradientBoostingDecisionTree)又叫MART（MultipleAdditiveRegressionTree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起大家关注。后记：发现GBDT除了我描述的残差版本外还有另一种GBDT描述，两者大概相同，但求解方法（Gradient应用）不同。其区别和另一版本的介绍链接见这里。由于另一版本介绍博客中亦有不少错误，建议大家还是先看本篇，再跳到另一版本描述， 阅读全文

摘要： 我们在很多Gradient Boost相关的论文及分析文章中都可以看到下面的公式：但是，对这个公式的理解，我一直也是一知半解，最近，终于下决心对其进行了深入理解。步骤1：可以看作优化目标的损失函数；步骤2：代表需要学习1~M个模型；步骤3：将前m-1个模型的组合F(X)代入损失函数L(y_i, F(X))，并对F(X)求导，求得梯度向量表达式；举例说明，如果损失函数是，则对F(X)求导，得到，当i从1取到N时，得到梯度方向的向量；步骤4：得到梯度向量之后，我们需要的是梯度向量方向上的新的模型，该模型需与梯度方向越接近越好，故，最小二乘法派上了用场，对步骤4的表达式求导，令等于0，可求得新模型的 阅读全文

摘要： 版权声明： 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com前言： 本来上一章的结尾提到，准备写写线性分类的问题，文章都已经写得差不多了，但是突然听说最近Team准备做一套分布式的分类器，可能会使用Random Forest来做，下了几篇论文看了看，简单的random forest还比较容易弄懂，复杂一点的还会与boosting等算法结合（参见iccv09），对于boosting也不甚了解，所以临时抱佛脚的看了看。说起boosting，强哥之 阅读全文

摘要： 引出：问题描述:给出一个序列a1,a2,a3,a4,a5,a6,a7….an,求它的一个子序列（设为s1,s2,…sn），使得这个子序列满足这样的性质，s1arr[j] && dp[j]>ans) ans = dp[j]; } dp[i] = ans+1; } ans = 0; for(int i=1; i ans) ans = dp[i]; } return ans;}算法2:时间复杂度:(NlogN):除了算法一的定义之外，增加一个数组b，b[i]用以表示长度为i最长子序列的最后一个数最小可以是多少。易证：i= b[k], 则b[k+1] = arr[i];若2. a 阅读全文

摘要： 进入算法研发部，在大致了解部门的项目构成，主要职责之后，我意识到最优化算法在各个项目组中都具有重要的作用，例如CTR预估、排序等。然而，由于自己在读博期间除了“逻辑回归”以外，没有系统参与过涉及最优化的项目，因此在还没有分配到具体任务的情况下，首先自发地对最优化算法的发展历程进行了调研。心得体会如下：最优化领域中的方法虽然“多如牛毛”，但是总体上还是沿着一条“主线”发展的。这里按照时间顺序对这条“最优化之路”进行简要介绍：1.1 最速下降法（梯度法）：即以负梯度方向作为目标函数极小化方法的下降方向。首先将目标函数进行泰勒展开：：代表第k个点的自变量（向量）；:单位方向（向量），即|d|=1；： 阅读全文

摘要： 一、从Multinomial Logistic模型说起1、Multinomial Logistic 令为维输入向量;为输出label;(一共k类);为模型参数向量；Multinomial Logistic模型是指下面这种形式:其中：例如：时，输出label为0和1，有：2、Maximum Likelihood Estimate and Maximum a Posteriori Estimate(1)、Maximum Likelihood Estimate 假设有数据集，为了训练一个模型通常使用极大似然法来确定模型参数：(2)、Maximum a Posteriori Estimate 假设模型 阅读全文

摘要： 这篇讨论使用期望最大化算法（Expectation-Maximization）来进行密度估计（density estimation）。 与k-means一样，给定的训练样本是，我们将隐含类别标签用表示。与k-means的硬指定不同，我们首先认为是满足一定的概率分布的，这里我们认为满足多项式分布，，其中，有k个值{1,…,k}可以选取。而且我们认为在给定后，满足多值高斯分布，即。由此可以得到联合分布。 整个模型简单描述为对于每个样例，我们先从k个类别中按多项式分布抽取一个，然后根据所对应的k个多值高斯分布中的一个生成样例，。整个过程称作混合高斯模型。注意的是这里的仍然是隐含随机变量。模型中还有. 阅读全文

摘要： 作者：July、pluskid出处：结构之法算法之道blog。前言第一层、了解SVM 1.0、什么是支持向量机SVM 1.1.、线性分类 1.1.1、分类标准 1.1.2、1或-1分类标准的起源：logistic回归 1.1.3、形式化标示类 1.2、线性分类的一个例子 1.3、函数间隔Functional margin与几何间隔Geometrical margin 1.3.1、函数间隔Functional margin 1.3.2、点到超平面的距离定义：几何间隔Geometrical margin 1.4、最大间隔分类器Maximum Margin Classifier的定义 1.... 阅读全文