CDH 删除Agent节点(退役节点)
1、登录web管理界面
执行: 主机->所有主机->勾选主机->已选定的操作:停止主机上的角色
执行: 主机->所有主机->勾选主机->从群集中删除:勾选"解除授权角色"和"跳过管理角色"
执行: 主机->所有主机->勾选主机->Remove From Cloudera Manager
注意 3 点
- 尤其是运行了 hdfs datanode、kafka broker 这样的数据节点,退役节点所需时间和数据量线性正相关;
- 请勿同时下线 2 台或者以上的数据节点,可能会造成数据丢失;
- 必须要等待这一步执行完成才可以进行下一步操作;
2、停止服务
主节点服务停止 (只有主节点有的任务,退役子节点时不需要执行该命令)
service cloudera-scm-server stop
agent服务停止
service cloudera-scm-agent stop
服务停止之后查看有没有服务未停止(两个命令任选一个执行)
jps 或
pssh -h list_cm_agent -P "ps aux | grep 'cloudera-scm-agent.pid' | grep -v grep"
3.从集群中删除主机
此时在 Cloudera Manager 管理控制台中任然能看到删除的节点,这是因为CHD还未检测到agent下线,操作如下:
1.) 检测节点会找到已停止服务的节点
2.) 删除对应的节点
至此CDH管理平台中已经找不到了删除的节点
4.清理目录服务
取消目录挂载
umount /var/run/cloudera-scm-agent/process
或者
umount cm_processes
删除安装包
yum remove -y 'cloudera-manager-*' enterprise-debuginfo* oracle-j2sdk1.7
yum clean all
删除目录
rm -rf /usr/share/cmf /var/lib/cloudera /var/cache/yum/cloudera /var/log/cloudera /var/run/cloudera /etc/cloudera* /var/log/cloudera*
删除库数据
第一种:使用mysql, 对于 CM Manager 来说,它会把主机元数据全部存放在 DB 里,对应的表为 ${DATABASE}.HOSTS ,我们只要删除对应的僵尸机器记录即可,数据库名称一般是默认的 cm
DELETE FROM cm.HOSTS WHERE HOST_ID='${HOST_ID}';
第二种:PostgreSQL,操作时注意有没有其他应用使用PostgreSQL库
yum remove -y postgres*
rm -rf /var/lib/cloudera-scm-server-db
删除其他目录(有则修改)
rm -rf /tmp/.scm_prepare_node.lock rm -rf /var/lib/navigator /var/lib/solr /var/lib/zookeeper /var/lib/flume-ng /var/lib/hadoop /var/lib/hue /var/lib/oozie /var/lib/solr /var/lib/sqoop /var/lib/impala /var/lib/hbase /var/lib/hive /var/lib/kudu /var/lib/sentry /var/lib/spark /var/lib/hadoop-yarn /var/lib/pgsql rm -rf /usr/lib/hadoop /usr/lib/hadoop /usr/lib/hive /usr/lib/hbase /usr/lib/oozie /usr/lib/sqoop /usr/lib/zookeeper /usr/lib/bigtop /usr/lib/flume-ng /usr/lib/hcatalog /usr/lib/hue rm -rf /etc/hadoop /etc/zookeeper /etc/hive /etc/hue /etc/impala /etc/sqoop /etc/oozie /etc/hbase /etc/hcatalog /etc/cloudera-scm-agent /etc/cloudera-scm-server /etc/spark rm -rf /usr/bin/hadoop* /usr/bin/zookeeper* /usr/bin/hbase* /usr/bin/hive* /usr/bin/hdfs /usr/bin/mapred /usr/bin/yarn /usr/bin/sqoop* /usr/bin/oozie rm -rf /dfs/ /yarn/ rm -rf /var/run/hadoop-/ /var/run/hdfs-/
删除日志目录
rm -rf /var/log/cloudera-manager-installer rm -rf /var/log/cloudera-scm-server rm -rf /var/log/cloudera-scm-agent rm -rf /var/log/{hadoop-hdfs,impalad,impala-minidumps}
清空数据目录(安装根位置)
rm -rf ${data_drive_path}/{dfs,mapred,yarn,impala,kudu}
rm -rf /opt/cloudera*