如何在Spyder中运行spark

最终成的配置方法如下:1.安装好JDK SPARK并设置环境变量。
2.安装号spyder
3.启动spyder
在 tools ==> pythonpath manager 中加入如下2个路径
/opt/spark/python
/opt/spark/python/lib
将/opt/spark 替换成自己的spark实际安装目录
4.在SPARK_HOME/python/lib 下会有一个类似py4j-0.9-src.zip的压缩文件
将其解压到当前目录下(SPARK_HOME/python/lib),否则会报错 找不到py4j
重启spyder后就可以正常使用了。

5.在运行时如果报错sc没有被定义。
程序中要加入下面的一段即可。
from pyspark import SparkContext
from pyspark import SparkConf
conf = SparkConf().setAppName("test")
sc = SparkContext(conf=conf)
posted @   luoganttcc  阅读(72)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· .NET10 - 预览版1新功能体验(一)
点击右上角即可分享
微信分享提示