【原创】搭建spark环境中的坑及解决办法

一、在搭建好环境之后如果在安装了 spark-1.6-bin-without-hadoop (spark.apache.org/download) 之后，在python 中 “import pyspark” 会报“no module named pyspark” 错误。 

 

解决办法：

在本地使用spark之前，需要在~/.bash_profile 中增加两个环境变量：SPARK_HOME 以及必知的PYTHONPATH

export SPARK_HOME=/Users/abc/Documents/spark-1.6.0-bin-without－hadoop ＃这是spark 的安装路径

export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH

 

posted @ 2017-12-05 15:42  liyang1020  阅读(281)  评论(0)  编辑  收藏  举报