摘要：
随机森林 我们知道集成学习有两个流派， 一个是boosting流派，它的特点是产生的个体学习器之间存在强依赖关系，一系列个体学习器基本都需要串行生成 另一种是bagging流派，它的特点是产生的个体学习器之间不存在强依赖关系，一系列个体学习器可以并行生成 而随机森林(Random Forest)是非 阅读全文
2021年4月20日
2021年4月18日
摘要：
基础知识 最优化方法 梯度下降法(Gradient descend method） 在机器学习任务中，需要最小化损失函数$L(\theta)\(， 其中\)\theta$是要求解的模型参数。 梯度下降法常用来求解这种无约束最优化问题， 它是一种迭代方法：选取初值 \(\theta^0\)，不断迭代， 阅读全文
摘要：
概述 集成学习(ensemble learning)，它本身不是一个单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务。 其工作原理是：对于训练集数据，我们先产生一组**“个体学习器”，再通过某种策略将它们结合起来得到最终输出，就可以最终形成一个强学习器**，以达到博采众长的目的。就 阅读全文
2021年4月17日
摘要：
前言 K-Means算法是无监督的聚类算法，它实现起来比较简单，聚类效果也不错，因此应用很广泛。K-Means算法有大量的变体，本文就从最传统的K-Means算法讲起，在其基础上讲述K-Means的优化变体方法。包括初始化优化K-Means++, 距离计算优化elkan K-Means算法和大数据情 阅读全文
2021年4月13日
摘要：
假设变量$x_t$随时间$t$变化，按照以下规则定义其指数移动平均值: 假设$α$(衰减因子)=0.7 当$t=1$时，\(x_1=5\)，则 \(ema^{(1)}=x_1=5\) 当$t=2$时，\(x_2=10\)，则 \(ema^{(2)}=α*ema^{(1)}+(1-α)*x_2=0.7 阅读全文
摘要：
概述 逐层归一化(Layer-wise Normalization)是将传统机器学习中的数据归一化方法应用到深度神经网络中，对神经网络中隐藏层的输入进行归一化， 从而使得网络更容易训练. 注：这里的逐层归一化方法是指可以应用在深度神经网络中的任何一个中间层． 实际上并不需要对所有层进行归一化。 逐层 阅读全文
摘要：
背景及为什么需要归一化预处理？ 一般而言，样本特征由于来源以及度量单位不同，它们的**尺度(Scale）(即取值范围)**往往差异很大．以描述长度的特征为例，当用“米”作单位时令其值为$𝑥$，那么当用“厘米”作单位时其值为$100𝑥$. 不同机器学习模型对数据特征尺度的敏感程度不一样 ．如果一个 阅读全文
2021年4月12日
摘要：
概述 在机器学习领域，LDA是两个常用模型的简称：Linear Discriminant Analysis 和 Latent Dirichlet Allocation。本文中的LDA仅指代Latent Dirichlet Allocation. LDA在主题模型中占有非常重要的地位，常用来文本分类。 阅读全文
2021年4月10日
摘要：
最大似然估计 机器学习任务可以分为两类： 一类是样本的特征向量 $𝒙$ 和标签 $𝑦$ 之间存在未知的函数关系 $𝑦 = ℎ(𝒙)$， 另一类是条件概率 $𝑝(𝑦|𝒙)$ 服从某个未知分布． 第2.3.1.1节中介绍的最小二乘法是属于第一类， 直接建模 $𝒙$ 和标签 $𝑦$ 之间 阅读全文
2021年4月9日
摘要：
LSTM 长短期记忆网络（Long Short-Term Memory Network，LSTM[Gers et al.,2000; Hochreiter et al., 1997]是循环神经网络的一个变体，可以有效地解决简单循环神经网络的梯度爆炸或消失问题． LSTM网络主要改进在以下两个方面： 阅读全文