摘要：
原文地址：https://www.jianshu.com/p/d8ceeee66a6f Decision Tree 基本思想在于每次分裂节点时选取一个特征使得划分后得到的数据集尽可能纯。 划分标准 信息增益(Information Gain) 信息增益 = 未划分数据集的信息熵 划分后子数据集的信息 阅读全文
摘要：
原文地址：https://www.jianshu.com/p/e5c9a9fc84d4 + 为什么正则化可以缓解过拟合？ 过拟合时，拟合函数的系数往往非常大。过大的权重会导致模型过多地学习到某些数据的个性特征，从而导致过拟合。更少的参数（实际是更多的参数取值为0或取值趋于0），模型倾向于变得简单。 阅读全文
摘要：
原文地址：https://www.jianshu.com/p/53bffd95d6f5 + 使用正确的评价指标 如ROC AUC。 + 重新采样训练集 + 欠采样 常常当数据量足够多时使用这个方法。通过在多数类样本中随机选择和少数类样本相同数量的样本。 可多次放回地抽取不同的训练集，训练不同的分类器 阅读全文
摘要：
原文地址：https://www.jianshu.com/p/dbbfffd6a5e9 |预测（横）实际（纵）|+| | | | | | |+|tp|fn| | |fp|tn| + 准确率(Accuracy) $$accuracy=\frac{tp+tn}{tp+fp+tn+fn}$$ accura 阅读全文
摘要：
原文地址：https://www.jianshu.com/p/7a049ae73f56 梯度下降优化基本公式：${\theta\leftarrow\theta \eta\cdot\nabla_\theta{J(\theta)}}$ 一、三种梯度下降优化框架 这三种梯度下降优化框架的区别在于每次更新模 阅读全文
摘要：
原文地址：https://www.jianshu.com/p/9dacdc88d3ec + Bagging 用于减小方差。 使用训练数据的不同随机子集（大小常等于训练数据，采用不放回的方式进行抽取）来训练每个base model，最后对每个base model进行权重相同的vote。分类问题取众数， 阅读全文
摘要：
原文地址：https://www.jianshu.com/p/b8653f8b5b2b 一、Recurrent Neural Network 二、Naive RNN Naive RNN更新参数时易出现梯度消失/爆炸的问题。 三、LSTM + peephole + Naive RNN vs LSTM 阅读全文
摘要：
原文地址：https://www.jianshu.com/p/930813af53c7 相同 逻辑回归和朴素贝叶斯都是对条件概率$P(y|X)$进行建模，使得最终的分类结果有很好的解释性。 不同 具体流程 + 逻辑回归： 假设$P(y=1|X)$满足逻辑函数 $$\delta(z)=\frac{1} 阅读全文