Hadoop集群常见脚本

集群启动/停止方法

1.各个模块分开启动/停止（配置ssh是前提）

（1）整体启动/停止HDFS

start-dfs.sh/stop-dfs.sh

（2）整体启动/停止YARN

start-yarn.sh/stop-yarn.sh

2.各个服务组件逐一启动/停止

（1）分别启动/停止HDFS 组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）启动/停止YARN

yarn --daemon start/stop  resourcemanager/nodemanager

Hadoop集群常用脚本

集群包括hadoop102,hadoop103,hadoop104

xsync分发脚本

循环复制文件到所有节点的相同目录下，格式：xsync [要同步的文件名称]

[jinci@hadoop102 ~]$ cd /home/jinci
[jinci@hadoop102 ~]$ mkdir bin
[jinci@hadoop102 ~]$ cd bin
[jinci@hadoop102 bin]$ vim xsync

编辑如下代码：

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
        echo Not Enough Arguement!
        exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
        echo ================= $host =================
        #3. 遍历所有目录，挨个发送

        for file in $@
        do
                #4. 判断文件是否存在
                if [ -e $file ]
                        then
                                #5. 获取父目录
                                pdir=$(cd -P $(dirname $file); pwd)

                                #6. 获取当前文件的名称
                                fname=$(basename $file)
                                ssh $host "mkdir -p $pdir"
                                rsync -av $pdir/$fname $host:$pdir
                        else
                                echo $file does not exists!
                fi
        done
done

保存后退出，然后赋予脚本执行权限

[jinci@hadoop102 bin]$ chmod 777 xsync

分发失败原因有可能是未找到脚本，可尝试

[jinci@hadoop102 ~]$ sudo ./bin/xsync [要分发的文件位置]

若分发文件为配置环境变量信息，分发文件后记得执行

source /etc/profile 

Hadoop集群启停脚本（包含HDFS,Yarn,Historyserver）: myhadoop.sh

[jinci@hadoop102 ~]$ cd /home/jinci/bin
[jinci@hadoop102 bin]$ vim myhadoop.sh

输入如下内容

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

保存后退出，然后赋予脚本执行权限

[jinci@hadoop102 bin]$ chmod 777 myhadoop.sh

启动/停止脚本

[jinci@hadoop102 ~]$ myhadoop.sh start/stop

查看三台服务器Java进程脚本：jpsall

[jinci@hadoop102 ~]$ cd /home/jinci/bin
[jinci@hadoop102 bin]$ vim jpsall

输入以下内容：

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

保存后退出，然后赋予脚本执行权限

[jinci@hadoop102 bin]$ chmod 777 jpsall

分发/home/jinci/bin 目录， 保证自定义脚本在三台机器上都可以使用

[jinci@hadoop102 ~]$ xsync /home/atguigu/bin/

运行效果：

myhadoop

jpsall

ZK集群启动停止脚本

在hadoop102的/home/jinci/bin目录下创建脚本zk.sh

#!/bin/bash

case $1 in
"start"){
        for i in hadoop102 hadoop103 hadoop104
        do
                echo --------- zookeeper $i 启动 ---------
                ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
        done
}
;;
"stop"){
        for i in hadoop102 hadoop103 hadoop104
        do
                echo --------- zookeeper $i 停止 ---------
                ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
        done
}
;;
"status"){
        for i in hadoop102 hadoop103 hadoop104
        do
                echo --------- zookeeper $i 状态 ---------
                ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
        done
}
;;
esac

保存后退出，然后赋予脚本执行权限

[jinci@hadoop102 bin]$ chmod 777 zk.sh

运行效果：

zk.sh