5个Spark应用实例

Spark简介：

Spark是UC Berkeley AMP lab开发的一个集群计算的框架，类似于Hadoop，但有很多的区别。最大的优化是让计算任务的中间结果可以存储在内存中，不需要每次都写入HDFS，更适用于需要迭代的MapReduce算法场景中，可以获得更好的性能提升。

例如一次排序测试中，对100TB数据进行排序，Spark比Hadoop快三倍，并且只需要十分之一的机器。Spark集群目前最大的可以达到8000节点，处理的数据达到PB级别，在互联网企业中应用非常广泛。

这里整理5个Spark的应用实例，希望对Spark学习者能够有所帮助~

【使用 Spark 进行流量日志分析】

日志在计算机系统中是一个非常广泛的概念，任何程序都有可能输出日志：操作系统内核、各种应用服务器等等。日志包含很多有用的信息，例如访问者的 IP、访问的时间、访问的目标网页、来源的地址以及访问者所使用的客户端的 UserAgent 信息等，分析日志能帮助企业营销做出决策。

这个项目介绍如何用 Spark 分析日志，开始介绍了日志的分类，然后从日志不断简化数据，最终只留下4 个字段，最后以手机号标准，分别按照，上行流量，下行流量，报告时间戳进行倒序排序，希望学完本节课，能帮助您理解学会运用 Spark 去处理复杂日志分析。

【大数据带你挖掘打车的秘籍】

出租车是我们生活中经常乘坐的一种交通工具，但打车难的问题也限制了我们更好地利用这种交通方式。在哪些地方出租车更容易打到？在什么时候更容易打到出租车？该项目基于某市的出租车行驶轨迹数据，带你学习如何应用Spark SQL和机器学习相关技巧，并且通过数据可视化手段展现分析结果。

过程图：

【Spark 实现黑名单实时过滤】

这个项目主要讲解 Spark 的 RDD 操作，让您对 Spark 算子的特性快速了解。通过演示案例实时黑名单过滤，让您切身体会到 RDD 的强大功能，然后学以致用。

【Spark流式计算电商商品关注度】

该项目使用Scoket来模拟用户浏览商品产生实时数据，数据包括用户当前浏览的商品以及浏览商品的次数和停留时间和是否收藏该商品。使用Spark Streaming构建实时数据处理系统，来计算当前电商平台最受人们关注的商品是哪些。适合有一定的Java编程基础以及一定得Spark知识，了解Streaming的工作机制的同学学习

效果图：

【使用 Spark 和 D3.js 分析航班大数据】

该项目通过一个航班数据分析实例来学习 Spark 综合技巧和数据可视化技术。在航班数据分析实验中，可以学习到如何使用 OpenRefine 进行简单的数据清洗，以及如何通过 Spark 提供的 DataFrame、 SQL 和机器学习框架等工具，对航班起降的记录数据进行分析，尝试找出造成航班延误的原因，以及对航班延误情况进行预测。在数据可视化实验中，可以学习到 D3.js 中的数据读取、插值、元素选取、属性设置等 API 的用法。