spark笔记

spark-project.org 下载pre_版非withoutHadoop版本的包（已经编译好的集成Hadoop的spark包）

设置环境变量：

SPARK_HOME:   解压好的spark目录

path:   %spark_home%/bin 

然后cmd输入spark-shell

如果不能使用继续配置sparkclasspath

SPARK_CLASSPATH（如果是1.0+以上版本可以去掉这个配置否则会给予警告）:

%SPARK_HOME%/lib/spark-assembly-1.6.1-hadoop2.2.0.jar;

%SPARK_HOME%/lib/spark-1.6.1-yarn-shuffle.jar;

%SPARK_HOME%/lib/spark-examples-1.6.1-hadoop2.2.0.jar

二、配置Hadoop

1：仅下载git中bin文件目录（https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/bin）

把下载的bin放入新建的Hadoop文件夹中

2：然后配置HADOOP_HOME（直接是Hadoop目录）

3：然后配置到path中  %HADOOP_HOME%/bin