Eclipse配置Spark Python开发环境

配置参考 http://www.slideshare.net/prossblad/install-eclipse-for-sparkpython-49100874

 

Ubuntu 14.04

Eclipse Mars 4.5.0

Spark 1.4.1

Python 2.7.6 

 

在Eclipse中安装PyDev插件

Help-->Install New Software-->输入网址 https://dl.bintray.com/fabioz/pydev/latest/-->选中PyDev，完成安装

 

设置PyDev

Window-->Preferences-->PyDev-->Python Interpreters，点击自动配置

在Library中添加Spark安装目录下的Python文件，以及该文件目录下的lib/py4j文件

在Environment中添加SPARK_HOME和SPARK_CONF_DIR变量，参考资料里说最好写完整路径

 

注意Spark1.4.1不支持Python3