Spark代码流程

①.创建SparkConf()
   val conf = new SparkConf()
   conf.setMaster.. ;conf.setAppName...
②.创建SparkContext()
   val sc = new SparkContext(conf)
③.创建RDD
    val rdd = sc.textFile(abc.txt)
④.对RDD使用Transformation类算子进行数据转换
    例如:map/flatMap/reduceByKey/sample
⑤.对RDD使用Action类算子进行触发执行
    例如:take/foreach
⑥.sc.stop()
posted @ 2021-04-19 11:08  大数据程序员  阅读(96)  评论(0编辑  收藏  举报