摘要: hdfs-site.xml调优: 1.dfs.namenode.handler.count=20 * log2(Cluster Size) 比如集群规模为 8 台时,此参数设置为 60 NameNode 有一个工作线程池,用来处理不同 DataNode 的并发心跳以及客户端并发 的元数据操作。对于大 阅读全文
posted @ 2020-07-25 17:39 小小分析猿 阅读(833) 评论(0) 推荐(0) 编辑
摘要: 一.项目经验: 1.hdfs设置多目录 why:当hdfs存储空间紧张,需要对datanode节点进行磁盘扩展 what:(1)在 hdfs-site.xml 文件中配置多目录,注意新挂载磁盘的访问权限问题 <property> <name>dfs.datanode.data.dir</name> 阅读全文
posted @ 2020-07-25 17:11 小小分析猿 阅读(246) 评论(0) 推荐(0) 编辑