摘要：
学习统计学习方法也已经有几天了，在这几天的时间里，我主要对分类学习方法进行了初步学习，包括：感知机——>支持向量机，K近邻法，朴素贝叶斯法，决策树，logistic 回归与最大熵模型。 其中k近邻法的实现为kd树，朴素贝叶斯通过极大似然估计实现，决策树包含有生成决策树算法ID3,C4.5，决策... 阅读全文
摘要：
一 统计学习方法概述统计学习对象：数据-->数据特征-->数据模型-->知识-->预测统计学习关于数据的假设： 具有一定统计规律性的同类数据。统计学习目的： 对数据进行预测与分析，尤其是对未知新数据进行分析预测。通过构建概率统计模型实现。统计学习方法： 监督学习，非监督学习，半监督学习，强化学习监督... 阅读全文
摘要：
线性可分SVM： 定义：给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到分离超平面：w*.x+b*=0（计算出w*,b*的值）以及相应的分类决策函数 ： f(x)=sign(w*.x+b*) 成为线性可分支持向量机。 目标函数：最大化间隔（几何间... 阅读全文
摘要：
概述： SVM本身是一种二分类模型，他的基本模型是定义在特征空间上的间隔最大（区别于感知机）的线性分类器。此外，SVM还包括kernel技巧，这使得SVM可以对非线性问题进行分类。 SVM的学习策略就是间隔（支持向量之间的距离）最大化，可以形式化一个求解凸二次规划问题，SVM的学习算... 阅读全文
摘要：
算法思想:根据现有数据对分类边界建立回归公式，以此分类。 训练分类器的做法就是寻找最佳拟合参数，使用最优化算法。 特点：大部分时间用于训练（确定参数），在确定参数以后分类将会很快 基于Logistic回归和Sigmoid函数分类： 优点：计算代价不高，易于理解和实现。 ... 阅读全文
摘要：
基于概率论的分类方法 分类器有时会产生错误结果，于是这时可要求分类器给出一个最优类别猜测结果，同时给出这个猜测的概率估计值 优点：数据较少仍然有效，可处理多类别问题 缺点: 对输入数据准备方式敏感 适用：标称型数据 核心思想：选择具有最高概率分布的决策（条件概率）： P（A|B... 阅读全文
摘要：
决策树也是最经常适用的数据挖掘算法 决策树可以适用不熟悉的数据集合，并从中提取一系列规则，机器学习算法最终将使用这些规则（ps：专家系统中常用决策树） 优点：计算复杂度不高，输出易于理解，中间值缺失不敏感，可处理不相关特征数据 缺点：可能产生过度匹配 适用：数值型，标称型 原理：找... 阅读全文
摘要：
采用测量不同特征之间距离的方法进行分类 优点：精度高，对异常不敏感，无数据输入假定 缺点：计算复杂度高，空间复杂度高 适用：数值型，标称型 原理：存在一个样本数据集，其中每一个数据都存在标签（分类）即训练集中每个数据与所属分类对应关系已知。 输入无标签（分类标签）数据，将新数... 阅读全文
摘要：
一：机器学习应用领域：信息检索，数据挖掘，搜索引擎，社交网络，推荐引擎，计算广告，电子商务。与“大数据，深度学习，知识图谱”也关系密切 二：机器学习分类： 监督学习：用户知道目标，知道从数据中找什么 监督学习：分类{k-近邻，决策树，logistic回归，概率论分类器，SV... 阅读全文
摘要：
Netflix 个性化推荐核心：排序 很多监督学习方法都能被用来设计排序模型: Logistic 回归， 支持向量机（SVM）， 神经网络 决策树类的算法（GBDT）。 另一方面，近几年来许多算法被应用到“Learn to rank(排序学习)”中，比如 RankSVM 和... 阅读全文