Spark 学习
一、Spark简介
Spark是一个快速且通用的集群计算平台。
二、特点：
1、Spark 快速
扩充了Mapreduce计算模型
Spark是基于内存的计算
2、Spark 通用
Spark的设计容纳了其他分布式系统的拥有的功能。
批处理、迭代式计算、交互查询和流处理等。
3、Spark 高度开放
Python、Java、Scala、SQL的API和丰富的内置库
Spark和其他的大数据工具整合的很好，包括Hadoop和Kafka
三、Spark的组件
1、Spark Core
包含Spark的基本功能，包含任务调度、内存管理、容错机制等
内部定义了RDDs(弹性分布式数据集)
提供了很多API来创建和操作这些RDDs
应用场景，为为其他组件提供底层的服务
2、Spark SQL
是Spark处理结构化数据的库，就像Hive SQL、Mysql一样。
应用场景，在企业中用来做报表统计
3、Spark Sreaming
是实时数据流处理组件，类似Storm
Spark Streaming提供了API来操作实时数据流
应用场景，企业中用来从Kafka接收数据做实时统计
4、Mlib
一个包含机器学习功能的包，Machine learning lib
包含分类、聚类、回归等，还包括模型评估和数据导入
Mlib提供的上面的方法，都支持集群上的横向扩展
应用场景，机器学习
5、GraphX
是处理图的库(例如，社交网络图)，并进行图的并行计算
像Spark Streaming、Spark SQL一样，它继承了RDD API
它提供了各种图的操作，和常用的图算法，例如PangeRank算法
应用场景，图计算
6、Cluster Managers
集群管理，Spark自带一个集群管理是单独调度器
常见的集群管理：Hadoop YARN，Apache Mesos
紧密集成的优点：
1、Spark底层优化，基于Spark底层的组件，也得到了相应的优化
2、紧密集成，节省了各个组件组合使用时的部署、测试等时间
3、向Spark新增组件时，可立即享用新组件的功能
四、Spark和Hadoop的比较
1、Hadoop
离线处理
对时效性要求不高
Hadoop中间数据存储在硬盘上
2、Spark
时效性较高的场景
Spark中间数据存储在内存中
五、Spark的安装
1、下载地址： http://spark.apache.org/downloads.html
2、Spark目录：
bin：包含用来和Spark进行交互的可执行文件，如Spark Shell
core、streaming、python...,包含主要组件的源代码
examples包含一些单机Spark job，可以研究和运行这些例子
3、Shell
Spark的Shell是你能够处理分布在集群上的数据
Spark把数据加载到节点的内存中，因此分布式处理可在秒级完成
快速使迭代式计算，实施查询、分析一般能够在shells中完成
Spark提供了Python shell和Scala shell
./bin/spark-shell
六、Spark开发环境搭建
1、Scala的安装
地址： https://www.scala-lang.org/download/
2、IntelliJ IDEA CE
地址：https://www.jetbrains.com/idea/
安装plugin： Spark 和 Scala
七、第一个Spark项目
1、配置Spark的无密登陆：
终端命令 ssh-keygen 生成密钥，这个密钥的生成和github配置ssh生成的密钥一样的，如果github生成过的话，直接用github那个id_rsa.pub就可以。
步骤是： 1、ssh-keygen
2、cd ~/.ssh/
3、touch authorized_keys
4、cat id_rsa.pub > authorized_keys
5、chown 600 authorized_keys
2、创建项目
Spark 和 Scala安装完成之后
New -> Project -> Scala -> sbt -> Next -> Finish
build.sbt 中配置项目依赖 ，注意 Scala和Spark的版本一定要对应上 不然会出版本问题
这是我用的配置：
name := "Scala-Test" version := "0.1" scalaVersion := "2.12.8" libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % "2.4.3")
