python spark 配置

前提:已经装好 java 1.8 和 hadoop 2.7

1. 下载解压放后的目录 /Users/gao/spark-1.4.1-bin-hadoop2.6

2. 在~/.bash_profile 中加入 export PYTHONPATH=$PYTHONPATH:/Users/gao/spark-1.4.1-bin-hadoop2.6/python

3. 将/Users/gao/spark-1.4.1-bin-hadoop2.6/python/lib/py4j 解药到 /Users/gao/spark-1.4.1-bin-hadoop2.6/python/ 目录下

大功告成,在 python 命令行中输入from pyspark import SparkContext,没报错即ok。

posted @ 2015-08-24 23:38  高山流的不是水  阅读(356)  评论(0编辑  收藏  举报