CDH集群优化
问题1
-
问题描述:
Cloudera Manager Agent(node6) 的 Parcel 目录位于可用空间小于 5.0 吉字节 的文件系统上。 /opt/cloudera/parcels(可用:2.5 吉字节 (6.34%),容量:39.2 吉字节) -
原因:
node6上/opt/cloudera/parcels可用目录的空间小于5G -
可选解决方案:
1).更改服务对该目录需要空间大小的阈值
2).增加一块磁盘,并将/opt/cloudera映射成这块新磁盘
3).清理现有的本地文件系统,将多余的磁盘空间释放最终采纳方案:
清理现有的本地文件缓存,将多余的磁盘空间释放
问题2
-
问题描述:
Canary 测试无法在目录 /tmp/.cloudera_health_monitoring_canary_files 中创建文件 -
原因:
安全模式下无能创建目录,所以我们需要先解除安全模式 -
解决方案:
hdfs dfsadmin -safemode -leave
问题3
-
问题描述:
任务运行内存大于8G,yarn集群单容器内存小于6G -
原因:
任务内存大于节点的可提供内存数,我们可通过挑拨节点内存数、核心数的阀值来使任务可以用更大的内存运行 -
解决方案:
配置yarn.nodemanager.resource.memory-mb为24G(单服务器可提供服务的内存)
配置yarn.scheduler.maximum-allocation-mb为24G
配置yarn.nodemanager.resource.cpu-vcores为12核(单服务器可提供服务的核心数)
配置yarn.scheduler.maximum-allocation-vcores为12核