CDH 大数据疑难解决一则

起因:  Hive查询变慢

观察: Cloudera Manager中某个Datanode报错, Health Chart每隔几分钟有红色不健康状态

观察日志: 在 /data/log/hadoop-hdfs/hadoop-cmf-hdfs-DATANODE-dw-slave01-te.uniqlo-test.cn.log.out 中发现大量日志警告, 带有"Force-closing" , 例如:

2018-11-02 16:30:53,837 WARN com.cloudera.io.netty.channel.AbstractChannel: Force-closing a channel whose registration task was not accepted by an event loop: [id: 0x3e3a2527, /172.16.17.76:36048 => /172.16.17.76:1006]

 

解决: 在 Cloudera Manager 的 该节点的 HDFS 的 configuraton 里 Java Heap Size, 调整回默认值1G