设置PySpark的Python版本

本文介绍在单节点下如何设置pyspark所调用的python的版本。

环境：已在centos7中安装了spark2.4.0和python3.6

1.修改spark安装目录下的conf/spark-env.sh文件，在末尾添加export PYSPARK_PYTHON=/opt/python36/python3.6

2.修改spark安装目录下的bin/pyspark文件，修改下图红色方框的位置，将原来PYSPARK_PYTHON=python改成PYSPARK_PYTHON=python3.6

3.启动pyspark，可看到python的版本为3.6

多节点的设置可参考：https://blog.csdn.net/abc_321a/article/details/82589836
posted @ 2020-09-09 20:48  Bill_H  阅读(4082)  评论(0)  编辑  收藏  举报