Spark总结1

安装jdk

下载spark安装包

解压

 

重点来了:

 配置 spark:

   进入 conf   ----》  

spark-env.sh.template文件

cd conf/

mv spark-env.sh.template spark-env.sh

vi spark-env.sh

 

     添加: 

  

在该配置文件中添加如下配置

export JAVA_HOME=/usr/java/jdk1.7.0_45

export SPARK_MASTER_IP=acm01       //Master 的地址

export SPARK_MASTER_PORT=7077

 

     修改slaves

   acm02

   acm03

     scp -r  spark /    acm:/      拷贝到其他主机上

 

然后启动集群:

      /usr/local/spark-1.5.2-bin-hadoop2.6/sbin/start-all.sh

 

  查看jps,  主节点 Master进程   worker进程

 spark管理界面:

   http://acm01:8080/

posted @ 2017-09-15 20:46  toov5  阅读(113)  评论(0编辑  收藏  举报