恢复spark挂掉的节点
背景:
某个Worker节点挂掉了,我们需要将Worker进行启动恢复,同时可以恢复streaming中的executor
解决办法:
其实很简单,去worker节点中执行sbin/start-slave.sh即可,执行脚本如下:
sbin/start-slave.sh 10 spark://hdp5:7077
PS:
10是worker编号,自定义的,注意这个编号是从0开始递增的,所以不要与以往worker编号重复。
Spark://hdp5:7077 这个是master地址