本文档综合现在市面上的各类spark书籍,概括spark技术核心,“要事第一”原则,只抓核心,才能领悟实质。
spark核心分类:
1.环境配置相关(编译、搭建、配置、启动脚本)
1.1 源码编译
1.2 集群搭建
1.3 集群配置,脚本分析
1.4 IDE环境构建
2.Spark基础
2.1 RDD
2.1.1 RDD基础
2.1.2 RDD算子
2.2 共享变量
3.Spark工作机制
3.1 调度管理
3.1.1 作业提交流程
3.1.2 通信机制
3.2 IO管理
3.2 容错机制
3.4 监控管理
4.Spark框架
4.1 Spark SQL
4.2 Spark Streaming
4.3 Spark MLlib
4.4 Spark GraphX
我喜欢一无所有,这样就只能一步一步的创造世界...