Spark核心开发编程

一:RDD介绍

二:Spark基本工作原理

三:spark开发入门,主要包括以下方面:

  1:编写WordCount程序

  2:使用本地模式进行测试

  3:使用Spark-submit提交到集群运行(spark-submit常用参数说明)

  4:Spark程序开发流程总结

  5:Spark-Shell的使用(编写WordCount程序)

四:创建RDD:并行化集合,基于文件创建RDD

五:操作RDD:transformation级别和action级别、java8和旧版本的区别 、操作key-value对

六:RDD:常用全程案例实战

七:RDD持久化:cache()和persist(),几种持久化策略

八:共享变量:broadcaste、variable、accumulator

九:RDD高级编程:基于排序算法的WordCount、二次排序、topN、CombineByKey等

posted @ 2017-09-18 21:13  reedom1991  阅读(133)  评论(0编辑  收藏  举报