CDH问题记录
CDH测试环境,有几个没有临幸了,今天一打开,好家伙,全国山河一片红啊!从CM到cluster里面的所有服务,全部都充满了红色的错误图标。第一反应就是,磁盘空间占满了,一查,果然如此。
这里就涉及到一个基础问题,很悲催,在我们安装系统之初,运维没有告知有一个500G的硬盘,所以就只用根目录下的50G来玩。后来知道了,不能mount到根目录,只能到/home,因为据说之前mount到根目录直接导致虚拟机崩溃,所以就只有将错就错。这就是所有悲剧的根源。
果然,由于很多日志没有及时清理,磁盘空间全部沾满,这种情况持续了几天都没人管,所以系统处在了崩溃的边缘。
清理磁盘之后,祭出大招——重启。
首先重启CM,一切顺利,很轻松,一种“你若安好,便是晴天”的惬意。
然后,重启HDFS,居然,没有任何用处,所有instance处于stop状态,依然报错找不到name node。找不到running的name node。改为无脑重启这台host,依然无效。hosts列表一片红色。
略紧张了,试了试Yarn,也不行,便开始仔细看错误信息, 红色的文字是这样描述的:This role's host has been out of contact with Cloudera Manager for too long. 后面半句忘了。
这句话的意思应该是说CM的agent和CM server失联了。于是ssh到目标机,ps相关进程,比如NameNode,确实,NameNode根本没有重启过,开始时间还是2月份的。
接下来的事情就简单了,重启agent呗!ssh到所有节点,挨个执行service cloudera-scm-agent restart,等待一会,所有hosts变绿。再重启各个服务,恢复正常。