Spark总结1
安装jdk
下载spark安装包
解压
重点来了:
配置 spark:
进入 conf ----》
spark-env.sh.template文件
cd conf/
mv spark-env.sh.template spark-env.sh
vi spark-env.sh
添加:
在该配置文件中添加如下配置
export JAVA_HOME=/usr/java/jdk1.7.0_45
export SPARK_MASTER_IP=acm01 //Master 的地址
export SPARK_MASTER_PORT=7077
修改slaves
acm02
acm03
scp -r spark / acm:/ 拷贝到其他主机上
然后启动集群:
/usr/local/spark-1.5.2-bin-hadoop2.6/sbin/start-all.sh
查看jps, 主节点 Master进程 worker进程
spark管理界面: