摘要：
我们知道，线性回归能够进行简单的分类，但是它有一个问题是分类的范围问题，只有加上一个逻辑函数，才能使得其概率值位于0到1之间，因此本次介绍逻辑回归问题。同时，最大熵模型也是对数线性模型，在介绍最大熵模型的同时需要了解拉格朗日对偶法对约束最优化问题的求解，在文章末有几个关于牛顿法的链接，可供拓展阅读。 阅读全文
摘要：
顾名思义，决策树model是树形结构，在分类中，表示基于特征对实例进行分类的过程。可以认为是“if-else”的合集，也可以认为是特征空间，类空间上条件概率分布。主要优点是分类速度快，可读性好。在学习时（training）根据loss function最小化原则建立决策树model，预测时对新数据利 阅读全文
摘要：
1 朴素贝叶斯法的学习与分类1.1 基本原理2 参数估计2.1 极大似然估计2.2 算法2.3 贝叶斯估计 1 朴素贝叶斯法的学习与分类 Naive Bayes是基于贝叶斯定理和特征条件独立的假设的分类方法。对于给定的训练数据，首先基于特征条件独立学习输入和输出的联合概率分布，然后基于此模型，对给定 阅读全文
摘要：
1 k近邻算法2 模型2.1 距离测量2.2 k值选择2.3 分类决策规则3 kNN的实现——kd树3.1 构造kd树3.2 kd树搜索 1 k近邻算法 k nearest neighbor，k-NN，是一种基本分类与回归的方法，输入为实例的特征向量——对应空间的点，输出为实例的类别，可取多类。kN 阅读全文
摘要：
1 感知机模型1.1 模型定义2 感知机学习策略2.1 数据的线性可分性2.2 学习策略3 学习算法3.1 算法原始形式3.2 收敛性3 学习算法的对偶形式 1 感知机模型 感知机perceptron是二类分类问题的线性分类模型，输入为实例的特征向量，输出为实例的类别（+1，-1）。感知机旨在求出训 阅读全文
摘要：
写在前面的话：这是我开通博客后的第一篇随笔，主要是在第二次阅读 李航《统计学习方法》感觉有必要记录和整理之前的笔记，因此写在这里，以便查阅和分享，详细内容还需认真读书才行。我才疏学浅，不及入门，如有不正确的地方请读者或批评或指正或建议，我必改之！其后还会整理出本书的所有内容！ 1 统计学习（stat 阅读全文