linux平台 spark standalone集群 使用 start-all，stop-all 管理集群的启动和退出

一、配置/etc/profile:

文件尾部增加以下内容:

export SPARK_HOME=/home/spark/spark-2.2.0-bin-hadoop2.7
export PATH=$PATH:${SPARK_HOME}/bin
export SPARK_EXAMPLES_JAR=$SPARK_HOME/examples/jars/spark-examples_2.11-2.2.0.jar

　　

二、配置spark环境变量

　　在spark的conf文件夹中复制 spark-env.sh.template生成 spark-env.sh文件,在尾部添加如下代码:

 

export JAVA_HOME=/home/java/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin
export SPARK_MASTER_HOST="10.217.2.240"

　　第三行的变量指定的是master的IP，我的机器上面worker节点不能直接根据hostname找到master，所以必须要在这里声明masterIP，worker才能连接到master

三、配置worker节点ip:

在spark的conf文件夹中复制 slaves.template生成 slaves文件,在尾部添加如下代码:

 

localhost
10.217.2.241
10.217.2.242

　　这里配置的是worker的ip，我这里的意思就是在本地和后面两个节点都启动worker，一共3个worker。

以上三点配置必须在所有节点上同步

 

四、配置ssh:

　　运行start-all.sh脚本的机器必须要有所有worker节点的访问权,所以要么是在环境变量中配置各个节点的登陆密码，要么就配置ssh密钥登陆，ssh更方便些。在本节点生成密钥 ，ssh-keygen -t rsa，

然后将密钥拷贝到所有worker节点的authorized_keys中，注意由于这里我把本机也设为worker节点，所以在本机的 authorized_keys  文件中也要放公钥。

 

五、运行start-all.sh,稍等一会，然后就可以在masterUI中看到启动成功了.

posted on 2018-02-24 17:00  skyer1992  阅读(1333)  评论(0)  编辑  收藏  举报

导航