摘要: HDFS中NameNode工作机制1.NameNode的主要功能(1)负责客户端请求的响应; (2)负责元数据的管理。 2.元数据管理namenode对数据管理采用了三种存储形式: (1)内存元数据; (2)磁盘元数据镜像文件; (3)数据操作日志文件(可以通过日志运算出元数据)。 2.1元数据的存 阅读全文
posted @ 2019-07-18 15:42 北漂-boy 阅读(4772) 评论(0) 推荐(0) 编辑
摘要: 问题现象 问题描述 公司业务程序需求每30分钟mv 一万多个文件,如果三十分钟之内当前的文件内容没有全部移动,程序报错并且停止。 分析 通过分析,发现在启动balancer和不启动balancer的情况下,namenode的处理能力差别巨大。不启动balancer,一万多个文件不到20秒全部移动成功 阅读全文
posted @ 2019-07-18 11:10 北漂-boy 阅读(2452) 评论(0) 推荐(0) 编辑