关于ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=test, master=local)......错误的问题
如果在PyCharm中编写PySpark程序时,遇到如下图的错误时:
说明已经存在有一个SparkContext(sc)了.不能再创建一个新的sc.
所以可以在整个工程中关键一个sc即可,最好的方法是将sc创建在一个配置文件中,在哪里使用就使用将配置文件中的sc导入即可.