异常检测综述
摘要：原文地址：http://www.cs.umn.edu/sites/cs.umn.edu/files/tech_reports/07 017.pdf 摘要 这篇文章对常见的异常检测算法进行了分类，在每一类中，给出了这一类问题的基本假设（什么是正常，什么是异常），针对该类问题的基础方法，以及对基础方法的
阅读全文
posted @ 2018-12-31 14:37
随笔分类 - 机器学习
breeze源码阅读心得
摘要：在阅读Spark ML源码的过程中，发现很多机器学习中的优化问题，都是直接调用breeze库解决的，因此拿来breeze源码想一探究竟。整体来看，breeze是一个用scala实现的基础数学库，breeze之于Spark ML，就像numpy和scipy之于sklearn一样，很多Spark ML中
阅读全文
posted @ 2018-04-01 14:32
Spark ML源码分析之四 树
摘要：之前我们讲过，在Spark ML中所有的机器学习模型都是以参数作为划分的，树相关的参数定义在treeParams.scala这个文件中，这里构建一个关于树的体系结构。首先，以DecisionTreeParams作为起始，这里存储了跟树相关的最基础的参数，注意它扩展自PredictorParams。接
阅读全文
posted @ 2018-04-01 13:43
Spark ML源码分析之三 分类器
摘要：前面跟大家扯了这么多废话，终于到具体的机器学习模型了。大部分机器学习的教程，总要从监督学习开始讲起，而监督学习的众多算法当中，又以分类算法最为基础，原因在于分类问题非常的单纯直接，几乎不需要引入一些其它概念，因此我们就先从分类器开始讲起。 还记得第一节介绍的Spark ML架构吗？从Param起始，
阅读全文
posted @ 2018-03-24 14:43
Spark ML源码分析之二 从单机到分布式
摘要：前一节从宏观角度给大家介绍了Spark ML的设计框架（链接：http://www.cnblogs.com/jicanghai/p/8570805.html），本节我们将介绍，Spark ML中，机器学习问题从单机到分布式转换的核心方法。 单机时代，如果我们想解决一个机器学习的优化问题，最重要的就是
阅读全文
posted @ 2018-03-24 11:36
Adaboost的意义
摘要：Adaboost是广义上的提升方法（boosting method）的一个特例。广泛应用于人脸识别等领域。 它的基本思想是，“三个臭皮匠赛过诸葛亮”，即用多个弱分类器的线性加权，来得到一个强的分类器。弱分类器到底有多“弱”呢？在某些情境下，xi>v就是一个弱分类器，它只对输入特征的某一个维度做判断，
阅读全文
posted @ 2016-03-22 22:37
