寒假学习14——Spark Mlib基础

8.1 Spark MLlib简介
8.1.1 什么是机器学习

机器学习可以看做是一门人工智能的科学，该领域的主要研究对象是人工智能。
机器学习利用数据或以往的经验，以此优化计算机程序的性能标准。

机器学习强调三个关键词：算法、经验、性能
8.1.2 基于大数据的机器学习

机器学习算法涉及大量迭代计算
基于磁盘的MapReduce不适合进行大量迭代计算
基于内存的Spark比较适合进行大量迭代计算
8.1.3 Spark 机器学习库MLLib

Spark提供了一个基于海量数据的机器学习库，它提供了常用机器学习算法的分布式实现
开发者只需要有 Spark 基础并且了解机器学习算法的原理，以及方法相关参数的含义，就可以轻松的通过调用相应的 API 来实现基于海量数据的机器学习过程
pyspark的即席查询也是一个关键。算法工程师可以边写代码边运行，边看结果
需要注意的是，MLlib中只包含能够在集群上运行良好的并行算法，这一点很重要
有些经典的机器学习算法没有包含在其中，就是因为它们不能并行执行
相反地，一些较新的研究得出的算法因为适用于集群，也被包含在MLlib中，例如分布式随机森林算法、最小交替二乘算法。这样的选择使得MLlib中的每一个算法都适用于大规模数据集
如果是小规模数据集上训练各机器学习模型，最好还是在各个节点上使用单节点的机器学习算法库（比如Weka）
MLlib是Spark的机器学习（Machine Learning）库，旨在简化机器学习的工程实践工作
MLlib由一些通用的学习算法和工具组成，包括分类、回归、聚类、协同过滤、降维等，同时还包括底层的优化原语和高层的流水线（Pipeline）API，具体如下：
算法工具：常用的学习算法，如分类、回归、聚类和协同过滤；
特征化工具：特征提取、转化、降维和选择工具；
流水线(Pipeline)：用于构建、评估和调整机器学习工作流的工具;
持久性：保存和加载算法、模型和管道;
实用工具：线性代数、统计、数据处理等工具。
Spark 机器学习库从1.2 版本以后被分为两个包：
spark.mllib
包含基于RDD的原始算法API
Spark MLlib 历史比较长，在1.0 以前的版本即已经包含了，提供的算法实现都是基于原始的 RDD
spark.ml
提供了基于DataFrames 高层次的API，可以用来构建机器学习工作流（PipeLine）
ML Pipeline 弥补了原始 MLlib 库的不足，向用户提供了一个基于 DataFrame 的机器学习工作流式 API 套件
MLlib目前支持4种常见的机器学习问题: 分类、回归、聚类和协同过滤

8.2 机器学习工作流
8.2.1 机器学习流水线概念

在介绍流水线之前，先来了解几个重要概念：
DataFrame
使用Spark SQL中的DataFrame作为数据集，它可以容纳各种数据类型。
较之RDD，DataFrame包含了schema 信息，更类似传统数据库中的二维表格。
它被ML Pipeline用来存储源数据。例如，DataFrame中的列可以是存储的文本、特征向量、真实标签和预测的标签等
Transformer：
翻译成转换器，是一种可以将一个DataFrame转换为另一个DataFrame的算法。
比如一个模型就是一个 Transformer。
它可以把一个不包含预测标签的测试数据集 DataFrame 打上标签，转化成另一个包含预测标签的 DataFrame。
技术上，Transformer实现了一个方法transform()，它通过附加一个或多个列将一个DataFrame转换为另一个DataFrame
Estimator：
翻译成估计器或评估器，它是学习算法或在训练数据上的训练方法的概念抽象。
在 Pipeline 里通常是被用来操作 DataFrame 数据并生成一个 Transformer。
从技术上讲，Estimator实现了一个方法fit()，它接受一个DataFrame并产生一个转换器。
比如，一个随机森林算法就是一个 Estimator，它可以调用fit()，通过训练特征数据而得到一个随机森林模型。
Parameter：
Parameter 被用来设置 Transformer 或者 Estimator 的参数。
现在，所有转换器和估计器可共享用于指定参数的公共API。ParamMap是一组（参数，值）对
PipeLine：
翻译为流水线或者管道。
流水线将多个工作流阶段（转换器和估计器）连接在一起，形成机器学习的工作流，并获得结果输出
8.2.2 构建一个机器学习流水线

要构建一个 Pipeline流水线，首先需要定义 Pipeline 中的各个流水线阶段PipelineStage（包括转换器和评估器），比如指标提取和转换模型训练等。

有了这些处理特定问题的转换器和评估器，就可以按照具体的处理逻辑有序地组织PipelineStages 并创建一个Pipeline

pipeline = Pipeline(stages=[stage1,stage2,stage3])

然后就可以把训练数据集作为输入参数，调用 Pipeline 实例的 fit 方法来开始以流的方式来处理源训练数据。

这个调用会返回一个 PipelineModel 类实例，进而被用来预测测试数据的标签

流水线的各个阶段按顺序运行，输入的DataFrame在它通过每个阶段时被转换

值得注意的是，流水线本身也可以看做是一个估计器。

在流水线的fit（）方法运行之后，它产生一个PipelineModel，它是一个Transformer。

这个管道模型将在测试数据的时候使用。 下图说明了这种用法。