了解Spark
Apache Spark是一个开源的集群计算框架,主要用来处理实时生成的数据。
Spark是建立在Hadoop的MapReduce顶部。它被优化到了内存中运行,而MapReduce等替代方法是将数据写入硬盘或从硬盘中写入数据,因此,Spark比其它替代方法运行速度更快。
Apache Spark的特点:
- 快速——Spark使用的是DAG(有向无环图)调度程序,为批处理和流数据提供高性能;
- 易于使用——它有助于使用Java、Scala、Python以及R和SQL编写应用程序,还提供了80多个运算符。
- 通用性——它提供了一系列的库,包含SQL、DataFrame以及用于机器学习的MLlib、GraphX和Spark Streaming。
- 轻量级——它是一个轻型统一分析执行引擎,用于大规模的数据处理;
- 无处不在——它可以轻松运行在Hadoop、Apach Mesos、Kubernetes或独立云端。
Spark的应用:
- 数据集成——系统生成的数据不够整合,无法进行结合分析,Spark可以减少提取、转换、加载(数据仓库ETL技术)等过程的成本和时间;
- 流处理——处理实时生成的数据总是很困难(如日志文件),Spark可以运行流数据并拒绝潜在的欺诈性操作;
- 机器学习——Spark可以将数据存贮在内存中并且可以快速运行重复的查询,因此可以轻松处理机器学习算法;
- 交互式分析——Spark可以快速生成相应,因此可以交互式处理数据,而非运行预定义的查询。
Spark架构:
- Spark遵循主从架构,它的集群有一个主服务器和多个从服务器组成;
- Spark架构依赖于两个抽象:弹性分布式数据集(RDD);有向无环图(DAG);
弹性分布式数据集(RDD):可以存储在工作节点上内存的数据组项。
- 弹性——失败时可以恢复数据;
- 分布式——数据分布在不同的节点之间;
- 数据集——数据组。
- DAG中每个节点Node都是RDD分区。
Spark架构图:
Driver Progarm:
- 驱动程序是一个运行应用程序,由
main()
函数启动并创建SparkContext
对象的进程。SparkContext
的目的是协调spark应用程序,作为集群上的独立进程运行。要在群集上运行,SparkContext
将连接到不同类型的群集管理器,然后执行以下任务:- 在集群的节点上获取执行程序;
- 将应用程序的代码发送给执行程序;
- 将任务发送给执行程序并运行。
Cluster Manager:
- 主要作用是跨应用程序分配资源;
- Spark能够在大量的集群上运行,它是由各种类型的集群管理器组成(例如:Hadoop Yarn、Apach Mesos、Standalone等);
Work Node:
- 工作节点是Spark的从节点;
- 它的作用是在集群中运行应用程序代码。
Executor:
- 执行程序是为工作节点上应用程序启动的进程;
- 它运行任务并将数据保存在内存或磁盘中;
- 将数据读写到外部源;
- 每个应用程序都包含其执行者。
Task:
- 任务是被发送给一个执行程序的工作单位。
Spark 组件:
Spark 是一个计算引擎,可以组织、分发和监控多个应用程序,由不同的组件紧密集成。
Spark Core:
- Spark的核心,用来执行核心功能;
- 包含任务调度,故障恢复,与存储系统和内存管理交互的组件。
Spark SQL:
- 它构建于Spark core之上,为结构化数据提供支持;
- 它允许通过SQL(结构化查询语言)以及Hive查询数据;
- 它支持JDBC和ODBC连接,用于连接建立Java对象与现有数据库、数据仓库、商业智能工具之间的连接;
- 支持各种数据源,如Hive表、Parquet和Json
Spark Streaming:
- 用来支持流数据的可伸缩和容错处理;
- 它可以使用Spark Core的快速调度功能来执行流分析;
- 接受小批量数据并对数据执行RDD转换;
- 它的设计确保流数据编写的应用程序可以重复使用,只需要很少的修改即可分析批量的历史数据;
- Web服务器生成的日志文件可以视为流数据的实时示例,
MLib:
- 它是一个机器学习库,包含各种机器学习算法;
- 包含相关性和假设检验,分类、回归、聚类和主成分分析;
- 它比Apach Mahout使用的基于磁盘的实现快9倍。
GraphX:
- 它是一个用于操作图形和执行图形并行计算的库;
- 有助于创建一个有向图,可以任意属性附加到每个顶点和边;
- 要操纵图形,它支持各种基本运算符,如子图、连接顶点和聚合消息。