SparkContext

Spark Application程序入口为:SparkContext,任何一个应用首先需要构建SparkContext对象,如下两步构建:
 第一步、创建SparkConf对象
 设置Spark Application基本信息,比如应用的名称AppName和应用运行Master
第二步、基于SparkConf对象,创建SparkContext对象
文档:http://spark.apache.org/docs/3.1.2/rdd-programming-guide.html
如:
 conf = SparkConf().setMaster("local[*]").setAppName("WordCountHelloWorld")
    # 通过SparkConf对象构建SparkContext对象
    sc = SparkContext(conf=conf)

 

posted @ 2024-01-12 21:07  阿飞藏泪  阅读(4)  评论(0编辑  收藏  举报
1 2 3
4