CDH 不能监控hadoop状态
1 背景:公司集群整体搬迁
2 问题:hadoop重启后,发现一个非常坑爹的问题。用 hadoop dfsadmin -report 查看datanode状态完全正常,但是Cloudera Manager管理界面上显示严重错误,如下图:
就是说cloudera manager server不能收集到各个agent的监控指标!
重启了几次发现无效。。。
3 查问题:查看 cloudera-scm-agent.log 发现类似信息: MonitorDaemon-Scheduler __init__ Monitor expired ...
就是说agent在创建监控的时候超时。
4 解决问题:排除防火墙问题后,发现是因为内网用了一个squid代理。。MyGod!!! 每次请求都会经过这个代理。所以当然就连不上了。。尼玛。
在 /etc/profile 里面,火速干掉,退出ssh重进,重启 agent ,搞定!