Spark核心开发编程
一:RDD介绍
二:Spark基本工作原理
三:spark开发入门,主要包括以下方面:
1:编写WordCount程序
2:使用本地模式进行测试
3:使用Spark-submit提交到集群运行(spark-submit常用参数说明)
4:Spark程序开发流程总结
5:Spark-Shell的使用(编写WordCount程序)
四:创建RDD:并行化集合,基于文件创建RDD
五:操作RDD:transformation级别和action级别、java8和旧版本的区别 、操作key-value对
六:RDD:常用全程案例实战
七:RDD持久化:cache()和persist(),几种持久化策略
八:共享变量:broadcaste、variable、accumulator
九:RDD高级编程:基于排序算法的WordCount、二次排序、topN、CombineByKey等