摘要： 本系列笔记内容参考来源为李航《统计学习方法》 线性不可分的通常情况是训练数据中有一些特异点，将这些点去除后，剩下的大部分样本点组成的结合是线性可分的。即某些样本点不能满足函数间隔≥1的约束条件，据此，对每个样本点引入松弛变量，使函数间隔加上松弛变量≥1。 对偶算法 支持向量 合页损失函数 阅读全文

摘要： 本系列笔记内容参考来源为李航《统计学习方法》 知识概要 线性可分支持向量机与硬间隔最大化 支持向量机的学习是在特征空间进行的。 定义 函数间隔与几何间隔 间隔最大化 用函数间隔可改写为 最大化1/||ω||和最小化1/2(||ω||)2等价，并取γ=1，得 支持向量和间隔边界 对偶算法 应用拉格朗日 阅读全文

摘要： 本系列笔记内容参考来源为李航《统计学习方法》 知识概要 最大熵原理认为学习概率模型时，熵最大的模型是最好的模型。 设离散随机变量X的概率分布是P(X)，则其熵是 最大熵模型定义 首先考虑模型应满足的条件，给定训练数据集，可确定联合分布P（X,Y）的经验分布和边缘分布P（X）的经验分布 最大熵模型的学 阅读全文

摘要： 本系列笔记内容参考来源为李航《统计学习方法》 逻辑斯谛回归模型 逻辑斯谛分布 二项逻辑斯谛回归模型 从对数几率角度理解模型 考察逻辑斯谛回归模型的特点，引入LR模型的定义： LR模型表达式为参数化的逻辑斯谛函数，（默认μ=0，γ=1），即 上式表示事件结果y=1的概率取值。x∈Rn+1，y∈{1，0 阅读全文

摘要： 本系列笔记内容参考来源为李航《统计学习方法》 知识概要 决策树模型 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部结点和叶结点。内部结点表示一个特征或属性，叶结点表示一个类。 决策树与if-then规则 可以把决策树看成一个if-then规则的集合， 阅读全文

摘要： 本系列笔记内容参考来源为李航《统计学习方法》 朴素贝叶斯（navie Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。 知识概要 公式推导 阅读全文

摘要： 转自文章 http://iaman.actor/blog/2016/04/17/copy-in-python copy()与deepcopy()之间的主要区别是python对数据的存储方式。 首先直接上结论： —–深复制，即将被复制对象完全再复制一遍作为独立的新个体单独存在。所以改变原有被复制对象不 阅读全文

摘要： 本系列笔记内容参考来源为李航《统计学习方法》 k近邻是一种基本分类与回归方法，书中只讨论分类情况。输入为实例的特征向量，输出为实例的类别。k值的选择、距离度量及分类决策规则是k近邻法的三个基本要素。 k近邻算法 给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实 阅读全文

摘要： 本系列笔记内容参考来源为李航《统计学习方法》 感知机（perceptron）是二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别，取±1。感知机对应与输入空间中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函 阅读全文

摘要： 本系列笔记内容参考来源为李航《统计学习方法》 统计学习 统计学习时关于计算机基于数据构建概率统计模型 并运用模型 对数据进行预测与分析。 统计学习的三要素： 方法 = 模型+策略+算法 统计学习由监督学习、非监督学习、半监督学习和强化学习等组成。 实现统计学习方法的具体步骤如下： （1）得到一个有限 阅读全文