01 2019 档案
摘要：损失函数，代价函数，目标函数区别 损失函数：定义在单个样本上，一个样本的误差。 代价函数：定义在整个训练集上，所有样本的误差，也就是损失函数的平均。 目标函数：最终优化的函数。等于经验风险+结构风险（Cost Function+正则化项）。 目标函数和代价函数的区别还有一种通俗的区别： 目标函数最大
阅读全文
摘要：决策树-ID3、C4.5 决策树-CART 分类树 决策树-CART 回归树 决策树后剪枝 决策树可用于分类（ ），也可用于回归（），同时适合集成学习比如随机森林。 决策树学习分3步：特征选择、决策树的生成、剪枝。 一、分类决策树模型与学习 1.决策
阅读全文
摘要：集成学习 随机森林 AdaBoost 算法 提升树 梯度提升树（GBDT） XGBoost 一、随机森林算法 随机森林（，）是 的一个扩展变体。 的扩展包括两方面（除了这两点，与 没什么不同
阅读全文
摘要：集成学习 随机森林 AdaBoost 算法 提升树 梯度提升树（GBDT） XGBoost 一、个体与集成 集成学习（）通过构建并结合多个学习器完成学习任务。 集成学习可用于分类问题集成、回归问题集成、特征选取集成、异常点检测集成等。 集成学习思想：通过训
阅读全文
摘要：·来自：https://mp.weixin.qq.com/s/tevVm0jlS6vZ3LCnczWD0w 前言 李航老师《统计学习方法》详细的描述了决策树的生成和剪枝。根据书的内容，做总结如下。 目录 a. 决策树不确定性的度量方法 1. 不确定性理解 下图为事件A是否发生的概率分布，事件发生记为
阅读全文
摘要：来自：https://mp.weixin.qq.com/s/CDMBQPgzcrjbZ_sX01q2hQ 在算法中使用正则化的目的是防止模型出现过拟合。 提到正则化，想到L1范数和L2范数。在这之前，先看LP范数是什么。 LP范数 范数简单理解为向量空间中的距离，距离定义很抽象，只要满足非负、自反、
阅读全文
摘要：偏度与峰度的正态性分布判断 用统计方法对数据进行分析，有很多方法如T检验、方差分析、相关分析以及线性回归等。都要求数据服从正态分布或近似正态分布。上篇博客用Q-Q图验证数据集符合正态分布。这篇博客先介绍偏度与峰度定义，然后用偏度与峰度检测数据集是否符合正态分布，最后分析该检测算法的使用条件以及sps
阅读全文
摘要：正负样本数据集符合独立同分布是构建机器学习模型的前提，从概率的角度分析，样本数据独立同分布是正负样本数据从某一定的数据分布随机抽取的，且正负样本的分布是不一样的。举例来说，若我们用非洲的西瓜作为训练集，然后用中国西瓜作为测试集，则数据集可能不满足同分布这一前提；抛硬币是最简单的独立同分布；用专业术语
阅读全文
