摘要：
深度学习优化方法，深度学习框架 阅读全文
摘要：
欠拟合（高偏差，低方差）与过拟合（低偏差，高方差）
严格关注数据会过拟合，忽略数据会欠拟合 阅读全文
摘要：
损失函数分为经验风险损失函数和结构风险损失函数，经验风险损失函数反映的是预测结果和实际结果之间的差别，结构风险损失函数则是经验风险损失函数加上正则项(L0、L1（Lasso）、L2（Ridge）)
所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。
正则化是一种为了减小测试误差的行为(有时候会增加训练误差) 阅读全文
摘要：
我们知道，在实际生活中，采集到的数据大部分信息都是无用的噪声和冗余信息，那么，我们如何才能剔除掉这些噪声和无用的信息，只保留包含绝大部分重要信息的数据特征呢？
除了上次降到的PCA方法，本次介绍另外一种方法，即SVD。SVD可以用于简化数据，提取出数据的重要特征，而剔除掉数据中的噪声和冗余信息。SVD在现实中可以应用于推荐系统用于提升性能，也可以用于图像压缩，节省内存。 阅读全文
摘要：
PCA(principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据压缩算法。 阅读全文
摘要：
FP-growth基于Apriori构建，但采用不同技术，这里是将数据集存储在一个特定的称作FP树的结构之后发现频繁项集或者频繁项对，即常在一块出现的元素项的集合FP树；这样执行速度快于Apriori，通常性能要好两个数量级以上。该算法能更高效发现频繁项集，但不能用于发现关联规则。 阅读全文
摘要：
从大规模数据集中寻找物品间的隐含关系被称作关联分析或者关联规则学习。 阅读全文
摘要：
最大期望算法（Expectation-Maximization algorithm, EM），或Dempster-Laird-Rubin算法 [1] ，是一类通过迭代进行极大似然估计（Maximum Likelihood Estimation, MLE）的优化算法 [2] ，通常作为牛顿迭代法（Newton-Raphson method）的替代用于对包含隐变量（latent variable）或缺失数据（incomplete-data）的概率模型进行参数估计。 阅读全文
摘要：
XGBoost全名叫（eXtreme Gradient Boosting）极端梯度提升，经常被用在一些比赛中，其效果显著。它是大规模并行boosted tree的工具，它是目前最快最好的开源boosted tree工具包。XGBoost 所应用的算法就是 GBDT（gradient boosting decision tree）的改进，既可以用于分类也可以用于回归问题中。 阅读全文
摘要：
Blending与Stacking大致相同，只是Blending的主要区别在于训练集不是通过K-Fold的CV策略来获得预测值从而生成第二阶段模型的特征，而是建立一个Holdout集，例如10%的训练数据，第二阶段的stacker模型就基于第一阶段模型对这10%训练数据的预测值进行拟合。说白了，就是把Stacking流程中的K-Fold CV 改成 HoldOut CV。 阅读全文