CDH问题记录

CDH测试环境，有几个没有临幸了，今天一打开，好家伙，全国山河一片红啊！从CM到cluster里面的所有服务，全部都充满了红色的错误图标。第一反应就是，磁盘空间占满了，一查，果然如此。

这里就涉及到一个基础问题，很悲催，在我们安装系统之初，运维没有告知有一个500G的硬盘，所以就只用根目录下的50G来玩。后来知道了，不能mount到根目录，只能到/home，因为据说之前mount到根目录直接导致虚拟机崩溃，所以就只有将错就错。这就是所有悲剧的根源。

果然，由于很多日志没有及时清理，磁盘空间全部沾满，这种情况持续了几天都没人管，所以系统处在了崩溃的边缘。

清理磁盘之后，祭出大招——重启。

首先重启CM，一切顺利，很轻松，一种“你若安好，便是晴天”的惬意。

然后，重启HDFS，居然，没有任何用处，所有instance处于stop状态，依然报错找不到name node。找不到running的name node。改为无脑重启这台host，依然无效。hosts列表一片红色。

略紧张了，试了试Yarn，也不行，便开始仔细看错误信息， 红色的文字是这样描述的：This role's host has been out of contact with Cloudera Manager for too long. 后面半句忘了。

这句话的意思应该是说CM的agent和CM server失联了。于是ssh到目标机，ps相关进程，比如NameNode，确实，NameNode根本没有重启过，开始时间还是2月份的。

接下来的事情就简单了，重启agent呗！ssh到所有节点，挨个执行service cloudera-scm-agent restart，等待一会，所有hosts变绿。再重启各个服务，恢复正常。