关于pyspark

http://spark.apache.org/ 官网，下载tar包

解压缩到本地；

设置环境变量，把%Spark解压缩路径%/bin放入到PATH变量中；（可以考虑设置一个SPARK_HOME)

在命令窗口中敲入pySpark，将会看到一系列OK的提示字符串；

 

问题：

Could not locate executable D:\Hadoop\tar\hadoop-2.2.0\hadoop-2.2.0\bin\winutils.exe in the Hadoop binaries

在windows下面将会发生此问题，我的问题是因为hadoop_home路径后来变了；除了需要Hadoop，还需要安装目录的bin文件夹下有winutils.exe，这个来自于hadoop-2.8.0-RC3包中。