摘要：
方法1: Markdown格式下 路径是相对路径，不能是绝对路径。 不能改变图形大小 方法2: 方法3: 路径是相对路径，不能是绝对路径。 可改变图形大小。 注意事项： 1. 网络图片： 本地图片（与jupyter文件在同一目录）： 2. 前面有”!”符号，无论windows还是linux图片路径都 阅读全文
摘要：
一、什么是正规方程 梯度下降法计算参数最优解，过程是对代价函数的每个参数求偏导，通过迭代算法一步步更新，直到收敛到全局最小值，从而得到最优参数。 正规方程是一次性求得最优解。 思想：对于一个简单函数，对参数求导，将其值置为0，就得到参数的值。像下面这样： 现实例子有很多参数，我们要对这些参数都求偏导 阅读全文
摘要：
1. if语句在行内 print('Hello' if True else 'World') Hello 2. 数值比较 x = 2 if 3>x>1: print(x) if 1<x>0: print(x) 2 2 3. 迭代工具 和collections库相似，还有一个库itertools，能高 阅读全文
摘要：
一、问题 有一个字典(或元组)列表，根据字典字段(或元组的值)排序这个列表。 二、解决方案 1. 列表 operator.itemgetter() 获取的不是值，而是定义一个函数，通过该函数作用到对象上才能获取值。 from operator import itemgetter a = [1, 2, 阅读全文
摘要：
损失函数，代价函数，目标函数区别 损失函数：定义在单个样本上，一个样本的误差。 代价函数：定义在整个训练集上，所有样本的误差，也就是损失函数的平均。 目标函数：最终优化的函数。等于经验风险+结构风险（Cost Function+正则化项）。 目标函数和代价函数的区别还有一种通俗的区别： 目标函数最大 阅读全文
摘要：
决策树-ID3、C4.5 决策树-CART 分类树 决策树-CART 回归树 决策树后剪枝 决策树可用于分类（\(ID3、C4.5、CART\) ），也可用于回归（\(CART\)），同时适合集成学习比如随机森林。 决策树学习分3步：特征选择、决策树的生成、剪枝。 一、分类决策树模型与学习 1.决策 阅读全文
摘要：
集成学习 随机森林 AdaBoost 算法 提升树 梯度提升树（GBDT） XGBoost 一、随机森林算法 随机森林（\(Random\ Forest\)，\(RF\)）是 \(Bagging\) 的一个扩展变体。 \(RF\) 的扩展包括两方面（除了这两点，与 \(Bagging\) 没什么不同 阅读全文
摘要：
集成学习 随机森林 AdaBoost 算法 提升树 梯度提升树（GBDT） XGBoost 一、个体与集成 集成学习（\(ensemble\ learning\)）通过构建并结合多个学习器完成学习任务。 集成学习可用于分类问题集成、回归问题集成、特征选取集成、异常点检测集成等。 集成学习思想：通过训 阅读全文
摘要：
·来自：https://mp.weixin.qq.com/s/tevVm0jlS6vZ3LCnczWD0w 前言 李航老师《统计学习方法》详细的描述了决策树的生成和剪枝。根据书的内容，做总结如下。 目录 a. 决策树不确定性的度量方法 1. 不确定性理解 下图为事件A是否发生的概率分布，事件发生记为 阅读全文