[Spark] - Spark部署安装
环境:centos6.0 虚拟机 搭建单机版本的spark 前提条件:搭建好hadoop环境
1. 下载scala进行安装
只需要设置环境变量SCALA_HOME和PATH即可
export SCALA_HOME=/home/hadoop/bigdater/scala
export PATH=$PATH:$SCALA_HOME/bin
2. 修改hadoop的core-site.xml文件,添加用户代理控制
hadoop.proxyuser.sparkuser.hosts=*
hadoop.proxyuser.sparkuser.groups=*
spearuser指的是安装spark的用户名
3. 下载spark安装文件
wget http://archive.cloudera.com/cdh5/cdh/5/spark-1.2.0-cdh5.3.6-src.tar.gz
4. 解压压缩文件,编辑conf/spark-env.sh文件
export SCALA_HOME=/home/hadoop/bigdater/scala
export SPARK_WORKER_MEMORY=1g
export SPARK_MASTER_IP=hh
export MASTER=spark://hh:7077
5. 配置slaves文件,加入worker节点的hostname
hh
6. 启动
start-all.sh # 启动hadoop
$SPARK_HOME/sbin/start-all.sj # 启动spark