SparkContext
Spark Application程序入口为:SparkContext,任何一个应用首先需要构建SparkContext对象,如下两步构建:
第一步、创建SparkConf对象
设置Spark Application基本信息,比如应用的名称AppName和应用运行Master
第二步、基于SparkConf对象,创建SparkContext对象
文档:http://spark.apache.org/docs/3.1.2/rdd-programming-guide.html
如:
conf = SparkConf().setMaster("local[*]").setAppName("WordCountHelloWorld") # 通过SparkConf对象构建SparkContext对象 sc = SparkContext(conf=conf)