Spark安装部署（local和standalone模式）
Spark运行的4中模式：
Local
Standalone
Yarn
Mesos
一、安装spark前期准备
1、安装java
|
$ sudo tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/service/ |
|
export JAVA_HOME=/opt/service/jdk1.7.0_67 export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH |
|
alternatives --config java alternatives --install /usr/bin/java java /opt/java/jdk1.7.0_67/bin/java 3 alternatives --config java --如果不修改这里，可能在安装spark组件时报错。 |
2、安装scala
|
tar -zxvf scala-2.10.4.tgz -C /opt/ 配置环境变量后scala即安装成功。 |
3、安装hadoop
参考：http://www.cnblogs.com/wcwen1990/p/6739151.html
4、安装spark
1）local模式安装部署
|
tar -zxvf spark-1.3.0-bin-2.5.0-cdh5.3.6.tgz -C /opt/cdh-5.3.6/ cd /opt/cdh-5.3.6/ mv spark-1.3.0-bin-2.5.0-cdh5.3.6/ spark-1.3.0 spark安装local模式安装成功，通过bin/spark-shell可以进行spark基本操作。 |
|
Local模式下spark基本测试： bin/spark-shell scala> sc.textFile("/opt/datas/wc.input") scala> res0.collect scala> sc.stop() scala> exit |
2）standalone模式安装spark
|
tar -zxvf spark-1.3.0-bin-2.5.0-cdh5.3.6.tgz -C /opt/cdh-5.3.6/ cd /opt/cdh-5.3.6/ mv spark-1.3.0-bin-2.5.0-cdh5.3.6/ spark-1.3.0 |
|
编辑slaves文件，添加worker节点： db02 |
|
设置log4j日志，内容默认 |
|
配置spark-env.sh环境变量： JAVA_HOME=/opt/java/jdk1.7.0_67 SCALA_HOME=/opt/scala-2.10.4 HADOOP_CONF_DIR=/opt/cdh-5.3.6/hadoop-2.5.0/etc/hadoop SPARK_MASTER_IP=db02 SPARK_MASTER_PORT=7077 SPARK_MASTER_WEBUI_PORT=8080 SPARK_WORKER_CORES=2 SPARK_WORKER_MEMORY=5g SPARK_WORKER_PORT=7078 SPARK_WORKER_WEBUI_PORT=8081 SPARK_WORKER_INSTANCES=1 SPARK_WORKER_DIR=/opt/cdh-5.3.6/spark-1.3.0/data/tmp |
|
配置spark-defaults.conf文件：不配置此选项运行spark服务还是在local模式下运行。 spark.master spark://db02:7077 ----------------------------------------------------------------------------------------------------------------------------------------- 如果没有配置此选项，也可以通过bin/spark-shell命令通过指定--master参数指定其运行在哪种模式下，例如： # bin/spark-shell --master spark://db02:7077 或者 # bin/spark-shell --master local |
|
启动spark： sbin/start-master.sh sbin/start-slaves.sh |
|
此时http://db02:8080/可以登录web浏览器访问，如下：
|
|
运行bin/spark-shell，可以在web端看到下面任务，这是配置了spark-default.conf文件，否则将看不到任务：
|
|
测试standalone模式spark： bin/hdfs dfs -mkdir -p /user/hadoop/wordcount/input/ bin/hdfs dfs -ls /user/hadoop/wordcount/ Found 1 items drwxr-xr-x - root supergroup 0 2017-05-22 14:47 /user/hadoop/wordcount/input bin/hdfs dfs -put /opt/datas/wc.input /user/hadoop/wordcount/input bin/hdfs dfs -ls /user/hadoop/wordcount/input Found 1 items -rw-r--r-- 3 root supergroup 63 2017-05-22 14:48 /user/hadoop/wordcount/input/wc.input --------------------------------------------------------------------------------------------------------------------------------------- scala> sc.textFile("hdfs://db02:8020/user/hadoop/wordcount/input/wc.input") scala> res0.collect scala> sc.stop() scala> exit |
