用Shell脚本过滤Hadoop中不能訪问的节点

近期使用的一个集群hp1,由于维护集群的人不给力。节点总是过一段时间就掉一两个。今天发现重新启动hadoop时,HDFS已经进入保护模式了。

决定把slaves节点中的无法訪问的节点所有过滤掉。所以写了一个小脚本。在这里记录一下。以后方便直接拿来使用。

PS:用C Shell编写的

代码例如以下:

#!/bin/csh
if ( $#argv < 1 ) then
	echo "Usage: $0 host_file"
	exit 1
endif
set NODES = `cat $1`
foreach NODE ( $NODES )
	ping -q -c 1 $NODE > /dev/null
	if ( $? == 0 )	then
		echo $NODE
	endif
end

顺便附带一个ssh检查的脚本:

#!/bin/csh
set nodes = `cat slaves`
foreach i ( $nodes )
	echo $i
	ssh $i exit
end


posted on 2017-06-07 13:29  yjbjingcha  阅读(351)  评论(0编辑  收藏  举报

导航