用Shell脚本过滤Hadoop中不能訪问的节点
近期使用的一个集群hp1,由于维护集群的人不给力。节点总是过一段时间就掉一两个。今天发现重新启动hadoop时,HDFS已经进入保护模式了。
决定把slaves节点中的无法訪问的节点所有过滤掉。所以写了一个小脚本。在这里记录一下。以后方便直接拿来使用。
PS:用C Shell编写的
代码例如以下:
#!/bin/csh if ( $#argv < 1 ) then echo "Usage: $0 host_file" exit 1 endif set NODES = `cat $1` foreach NODE ( $NODES ) ping -q -c 1 $NODE > /dev/null if ( $? == 0 ) then echo $NODE endif end
顺便附带一个ssh检查的脚本:
#!/bin/csh set nodes = `cat slaves` foreach i ( $nodes ) echo $i ssh $i exit end
posted on 2017-06-07 13:29 yjbjingcha 阅读(351) 评论(0) 编辑 收藏 举报