11 2018 档案

摘要：本系列笔记内容参考来源为李航《统计学习方法》 核函数定义 核技巧在支持向量机中的应用 正定核 函数K（x,z）满足正定核时可作为核函数。 常用核函数 非线性支持向量机学习算法 阅读全文

摘要：本系列笔记内容参考来源为李航《统计学习方法》 线性不可分的通常情况是训练数据中有一些特异点，将这些点去除后，剩下的大部分样本点组成的结合是线性可分的。即某些样本点不能满足函数间隔≥1的约束条件，据此，对每个样本点引入松弛变量，使函数间隔加上松弛变量≥1。 对偶算法 支持向量 合页损失函数 阅读全文

摘要：本系列笔记内容参考来源为李航《统计学习方法》 知识概要 线性可分支持向量机与硬间隔最大化 支持向量机的学习是在特征空间进行的。 定义 函数间隔与几何间隔 间隔最大化 用函数间隔可改写为 最大化1/||ω||和最小化1/2(||ω||)2等价，并取γ=1，得 支持向量和间隔边界 对偶算法 应用拉格朗日 阅读全文

摘要：本系列笔记内容参考来源为李航《统计学习方法》 知识概要 最大熵原理认为学习概率模型时，熵最大的模型是最好的模型。 设离散随机变量X的概率分布是P(X)，则其熵是 最大熵模型定义 首先考虑模型应满足的条件，给定训练数据集，可确定联合分布P（X,Y）的经验分布和边缘分布P（X）的经验分布 最大熵模型的学 阅读全文

摘要：本系列笔记内容参考来源为李航《统计学习方法》 逻辑斯谛回归模型 逻辑斯谛分布 二项逻辑斯谛回归模型 从对数几率角度理解模型 考察逻辑斯谛回归模型的特点，引入LR模型的定义： LR模型表达式为参数化的逻辑斯谛函数，（默认μ=0，γ=1），即 上式表示事件结果y=1的概率取值。x∈Rn+1，y∈{1，0 阅读全文

摘要：本系列笔记内容参考来源为李航《统计学习方法》 知识概要 决策树模型 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部结点和叶结点。内部结点表示一个特征或属性，叶结点表示一个类。 决策树与if-then规则 可以把决策树看成一个if-then规则的集合， 阅读全文