摘要：
决策树是一种基本的分类与回归方法，其树模型是描述对实例进行分类的树状结构。 图1-1 摘自《机器学习》的西瓜分类决策树 假设给定训练数据集，其中为输入实例，A为特征类别数，为标记类（在下面用表示所标记类别，为数据集D根据标记类别的不同所划分的子集）。 设特征A（某一特征类别）有n个不同的取值，数据集 阅读全文
摘要：
逻辑回归模型（logistic regression model）是一种软分类的判别模型，形式为参数化的逻辑斯蒂分布。 二分类的模型定义如下， 对于给定的训练数据集，其中，对于模型的参数可以用极大似然估计法来估计。 对数型的似然函数为： 上述的似然函数推导中，可以转换为求损失函数的最小化。而对于求似 阅读全文
摘要：
最大熵模型（maximum entropy model）是由最大熵原理（概率模型在满足约束条件下，其他不确定的部分是"等可能"的）推导实现。 比如，有随机变量X有5个取值{A,B,C,D,E}，在P(A)+P(B)+P(C)+P(D)+P(E)=1而没有其他限制的条件下，则估计X的各个取值都是等可能 阅读全文
摘要：
支持向量机（support vector machines ,SVM)是一种定义在特征空间上的间隔最大的二类分类模型。 线性可分支持向量机 假定特征空间上的训练数据集，其中，支持向量机的学习目标是找到一个超平面将训练数据集分为两个部分，并且是数据集中的点到这个超平面的几何间隔最大。 至此，支持向量机 阅读全文
摘要：
朴素贝叶斯（Naive Bayes）是基于贝叶斯定理与特征条件独立假设的分类方法。即对于给定的训练数据，首先基于特征条件独立假设学习输入输出联合概率分布，然后基于此模型，对给定输入的x，利用贝叶斯定理输出最大的后验概率y。 假设输入空间X，对应的输出空间Y为标记集合，而且在这些数据集中先验分布概率为 阅读全文
摘要：
k近邻算法(k-nearest neighbor,k-NN)是一种基本分类与回归方法。对新的输入实例，在给定的训练数据集中找到与这实例最邻近的k个实例。然后根据决策规则（如多数服从少数）决定这新输入实例点的类别。 本k临近模型的三个基本要素--距离度量、k值的选择和分类决策规则的决定。 1. 距离度 阅读全文
摘要：
1. 概论 统计学习是基于计算机基于数据构建概率统计模型并将其用于分析和预测。 监督学习、无监督学习、强化学习等是统计学习或机器学习的基本分类。 监督学习的本质是学习输入到输出的映射的统计规律。 无监督学习的本质是学习数据种的统计规律或潜在结构。 而强化学习的本质则是学习最优的序贯决策。 统计学习方 阅读全文