寒假学习7

 

厦门大学林子雨，赖永炫，陶继平 编著

《Spark 编程基础（Scala 版）》

教材配套

机房上机实验指南

实验 7 Spark 机器学习库 MLlib 编程实践

（版本号：2018 年 7 月 19 日版本）

（题目）

主讲教师：林子雨

厦门大学数据库实验室

二零一八年七月

  

 

 

目录

目录

一、实验目的...................................................................................................................................1

二、实验平台...................................................................................................................................1

三、实验内容和要求.......................................................................................................................1

1.数据导入................................................................................................................................1

2.进行主成分分析（PCA）....................................................................................................2

3.训练分类模型并预测居民收入............................................................................................2

4.超参数调优............................................................................................................................2

四、实验报告...................................................................................................................................2

附录 1:任课教师介绍 ......................................................................................................................2

附录 2：课程教材介绍....................................................................................................................3

附录 3：高校大数据课程公共服务平台介绍................................................................................4

主讲教师：林子雨

http://www.cs.xmu.edu.cn/linziyu

第 1 页

  

 

 

厦门大学林子雨,赖永炫,陶继平 编著《Spark 编程基础（Scala 版）》 教材配套机房上机实验指南

实验 7 Spark 机器学习库 MLlib 编程实践

厦门大学林子雨,赖永炫,陶继平 编著

《Spark 编程基础（Scala 版）》

第 8 章 Spark MLlib

教材配套机房上机实验指南

实验 7 Spark 机器学习库 MLlib 编程实践

（题目）

主讲教师：林子雨

E-mail: ziyulin@xmu.edu.cn 个人主页：http://www.cs.xmu.edu.cn/linziyu

一、实验目的

（1）通过实验掌握基本的 MLLib 编程方法；

（2）掌握用 MLLib 解决一些常见的数据分析问题，包括数据导入、成分分析和分类和

预测等。

二、实验平台

操作系统：Ubuntu16.04

JDK 版本：1.7 或以上版本

Spark 版本：2.1.0

数据集：下载 Adult 数据集(http://archive.ics.uci.edu/ml/datasets/Adult)，该数据集也可以

直接到本教程官网的“下载专区”的“数据集”中下载。数据从美国 1994 年人口普查数据

库抽取而来，可用来预测居民收入是否超过 50K$/year。该数据集类变量为年收入是否超过

50k$，属性变量包含年龄、工种、学历、职业、人种等重要信息，值得一提的是，14 个属

性变量中有 7 个类别型变量。

三、实验内容和要求

1.数据导入

从文件中导入数据，并转化为 DataFrame。

主讲教师：林子雨

http://www.cs.xmu.edu.cn/linziyu

第 1 页

  

 

 

厦门大学林子雨,赖永炫,陶继平 编著《Spark 编程基础（Scala 版）》 教材配套机房上机实验指南

实验 7 Spark 机器学习库 MLlib 编程实践

2.进行主成分分析（PCA）

对 6 个连续型的数值型变量进行主成分分析。PCA（主成分分析）是通过正交变换把一

组相关变量的观测值转化成一组线性无关的变量值，即主成分的一种方法。PCA 通过使用

主成分把特征向量投影到低维空间，实现对特征向量的降维。请通过 setK()方法将主成分数

量设置为 3，把连续型的特征向量转化成一个 3 维的主成分。

3.训练分类模型并预测居民收入

在主成分分析的基础上，采用逻辑斯蒂回归，或者决策树模型预测居民收入是否超过

50K；对 Test 数据集进行验证。

4.超参数调优

利用 CrossValidator 确定最优的参数，包括最优主成分 PCA 的维数、分类器自身的参数

等。

四、实验报告

《Spark 编程基础》实验报告

题目：

姓名：

日期：

实验环境：

实验内容与完成情况：

出现的问题：

解决方案（列出遇到的问题和解决办法，列出没有解决的问题）：

附录 1:任课教师介绍

主讲教师：林子雨

http://www.cs.xmu.edu.cn/linziyu

第 2 页

  

 

 

厦门大学林子雨,赖永炫,陶继平 编著《Spark 编程基础（Scala 版）》 教材配套机房上机实验指南

实验 7 Spark 机器学习库 MLlib 编程实践

林子雨(1978－),男,博士,厦门大学计算机科学系助理教授,主要研究领域为

数据库,数据仓库,数据挖掘,大数据

主讲课程：《大数据处理技术》

办公地点：厦门大学海韵园科研 2 号楼

E-mail: ziyulin@xmu.edu.cn

个人主页：http://www.cs.xmu.edu.cn/linziyu

数据库实验室网站：http://dblab.xmu.edu.cn

附录 2：课程教材介绍

林子雨、赖永炫、陶继平编著《Spark 编程基础（Scala 版）》

人民邮电出版社 ISBN:978-7-115-48816-9 定价：49.80 元

厦门大学林子雨、赖永炫和陶继平老师编著《Spark 编程基础》，以 Scala 作为开发 Spark

应用程序的编程语言，系统介绍了 Spark 编程的基础知识。全书共 8 章，内容包括大数据技

术概述、Scala 语言基础、Spark 的设计与运行原理、Spark 环境搭建和使用方法、RDD 编程、

Spark SQL、Spark Streaming、Spark MLlib 等。本书每个章节都安排了入门级的编程实践操

作，以便读者更好地学习和掌握 Spark 编程方法。本书官网免费提供了全套的在线教学资源，

包括讲义 PPT、习题、源代码、软件、数据集、授课视频、上机实验指南等。

本书可以作为高等院校计算机、软件工程、数据科学与大数据技术等专业的进阶级大数

据课程教材，用于指导 Spark 编程实践，也可供相关技术人员参考。

欢迎访问《Spark 编程基础》教材官方网站：http://dblab.xmu.edu.cn/post/spark/

主讲教师：林子雨

http://www.cs.xmu.edu.cn/linziyu

第 3 页

  

 

 

厦门大学林子雨,赖永炫,陶继平 编著《Spark 编程基础（Scala 版）》 教材配套机房上机实验指南

实验 7 Spark 机器学习库 MLlib 编程实践

扫一扫访问教材官网

附录 3：高校大数据课程公共服务平台介绍

高校大数据课程公共服务平台，由中国高校首个“数字教师”的提出者和建设者——林

子雨老师发起，由厦门大学数据库实验室全力打造，由厦门大学云计算与大数据研究中心、

海峡云计算与大数据应用研究中心携手共建。这是国内第一个服务于高校大数据课程建设的

公共服务平台，旨在促进国内高校大数据课程体系建设，提高大数据课程教学水平，降低大

数据课程学习门槛，提升学生课程学习效果。平台服务对象涵盖高校、教师和学生。平台为

高校开设大数据课程提供全流程辅助，为教师开展教学工作提供一站式服务，为学生学习大

数据课程提供全方位辅导。平台重点打造“11 个 1 工程”，即 1 本教材（含官网）、1 个教师

服务站、1 个学生服务站、1 个公益项目、1 堂巡讲公开课、1 个示范班级、1 门在线课程、

1 个交流群（QQ 群、微信群）、1 个保障团队、1 个培训基地和 1 个实验平台。目前平台每

年访问量已经超过 100 万次，成为国内高校大数据教学知名品牌。

平台主页：http://dblab.xmu.edu.cn/post/bigdata-teaching-platform/

扫一扫访问平台主页

主讲教师：林子雨

http://www.cs.xmu.edu.cn/linziyu

第 4 页

  学习网址：Spark MLib完整基础入门教程 - y-z-f - 博客园 (cnblogs.com)