关于ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=test, master=local)......错误的问题

如果在PyCharm中编写PySpark程序时,遇到如下图的错误时:

说明已经存在有一个SparkContext(sc)了.不能再创建一个新的sc.

所以可以在整个工程中关键一个sc即可,最好的方法是将sc创建在一个配置文件中,在哪里使用就使用将配置文件中的sc导入即可.

posted @ 2019-09-02 14:39  努力努力再努力D  阅读(1011)  评论(0编辑  收藏  举报