pyspark采用python3开发

现在时间2017-04-17。

 

python版本3.5支持pyspark

python3.6目前还不支持

 

做法简单，只需要在bin/pyspark中增加

export PYSPARK_PYTHON=python3

 再次打开bin/pyspark即配置完成pyspark采用python3.

 

如果想使用ipython，则增加下面两行到bin/pyspark中

export PYSPARK_PYTHON=python3

export PYSPARK_DRIVER_PYTHON=ipython

 

参考链接https://www.zhihu.com/question/56108986