摘要:
HDFS中NameNode工作机制1.NameNode的主要功能(1)负责客户端请求的响应; (2)负责元数据的管理。 2.元数据管理namenode对数据管理采用了三种存储形式: (1)内存元数据; (2)磁盘元数据镜像文件; (3)数据操作日志文件(可以通过日志运算出元数据)。 2.1元数据的存 阅读全文
摘要:
问题现象 问题描述 公司业务程序需求每30分钟mv 一万多个文件,如果三十分钟之内当前的文件内容没有全部移动,程序报错并且停止。 分析 通过分析,发现在启动balancer和不启动balancer的情况下,namenode的处理能力差别巨大。不启动balancer,一万多个文件不到20秒全部移动成功 阅读全文