摘要：
深层神经网络的参数学习主要通过梯度下降法来寻找一组可以最小化结构风险的参数。在具体实现中，梯度下降法可以分为：批量梯度下降、随机梯度下降和小批量梯度下降三种形式。 而对于这三种梯度下降的方法，又可以从调整学习率、调整负梯度两个方向来进行改进，比如RMSprop，Momentum和Adam。 这里介绍 阅读全文
摘要：
激活函数（activate function）在神经元中非常重要，为了增强网络的表示能力和学习能力，激活函数需要具备以下几点性质： （1）连续并可导的非线性函数，以便于利用数值优化的方法来学习网络参数。 （2）激活函数及其导数要尽可能简单，以提高网络计算的效率。 （3）激活函数的导函数的值域要在一个 阅读全文
摘要：
一、Logistic回归 Logistic回归（Logistic Regression，简称LR）是一种常用的处理二类分类问题的模型。 在二类分类问题中，把因变量y可能属于的两个类分别称为负类和正类，则因变量y∈{0, 1}，其中0表示负类，1表示正类。线性回归的输出值在负无穷到正无穷的范围上，不太 阅读全文
摘要：
随机森林（Random Forest）是一种Bagging（Bootstrap Aggregating）集成算法，在样本随机（样本扰动）的基础上，进一步运用特征随机（属性扰动）的机制，得到比一般的Bagging集成更好的效果。 要理解随机森林，需要理解以下几点： 1、什么是自助采样（Bootstra 阅读全文
摘要：
XGBoost是一个机器学习味道非常浓厚的模型，在数学上非常规范，运用正则化、L2范数、二阶梯度、泰勒公式和分布式计算方法，对GBDT等提升树模型进行优化，不仅能处理更大规模的数据，而且运行效率特别高。看完了XGBoost的原理后，我只能借用邓紫棋在《我是歌手》舞台上唱《喜欢你》时说的那句话：“太漂 阅读全文
摘要：
一、GBDT的通俗理解 提升方法采用的是加法模型和前向分步算法来解决分类和回归问题，而以决策树作为基函数的提升方法称为提升树（boosting tree）。GBDT(Gradient Boosting Decision Tree)就是提升树算法的一种，它使用的基学习器是CART（分类和回归树），且是 阅读全文
摘要：
集成学习（ensemble learning）通过构建并结合多个个体学习器来完成学习任务，也被称为基于委员会的学习。 集成学习构建多个个体学习器时分两种情况：一种情况是所有的个体学习器都是同一种类型的学习算法，比如都是决策树，或者都是神经网络。这样的集成是“同质”的，同质集成中的个体学习器称为“基学 阅读全文
摘要：
频率学派（古典学派）和贝叶斯学派是数理统计领域的两大流派。 这两大流派对世界的认知有本质的不同：频率学派认为世界是确定的，有一个本体，这个本体的真值是不变的，我们的目标就是要找到这个真值或真值所在的范围；而贝叶斯学派认为世界是不确定的，人们对世界先有一个预判，而后通过观测数据对这个预判做调整，我们的 阅读全文
摘要：
决策树（decision tree）是一种常见的分类和回归算法，也是性能较好的提升树算法（boosting tree）的基本分类器。 在分类问题中，决策树模型是以树的结构，基于特征来对样本进行分类决策的，其内部结点表示一个特征，叶结点表示一个类别。它可以看作是if-then 规则的集合，也可以认为是 阅读全文
摘要：
推导了支持向量机的数学公式后，还需要对比和总结才能更深入地理解这个模型，所以整理了十一个关于支持向量机的问题。 第一问：支持向量机和感知机（Perceptron）的联系？ 1、相同点： 都是一种属于监督学习的二类分类器，都属于判别模型。感知机是支持向量机的基础。 2、不同点： （1）学习策略：感知机 阅读全文