摘要:
一:DataNode工作机制 (1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度、 快数据的校验和(验证数据完整性)以及时间戳 (2)DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有 阅读全文
摘要:
NameNode发生故障后恢复数据的两种方法(都不能恢复全部数据) 方法一:将SecondaryNameNode中的数据拷贝到NameNode存储数据的目录 方法二:使用-importCheckpoint选项启动NameNode守护进程,从而将SecondaryNameNode中数据拷贝到NameN 阅读全文
摘要:
一:概念 二:ovi命令查看FsImage文件 三:oev查看Edits文件 阅读全文
摘要:
一:NameNode的元数据怎么存储比较合适? 假如存储在磁盘里,因为NameNode需要频繁的响应客户端请求进行读写,效率会比较低。假如存在内存里的话, 一旦断电那么元数据就全部丢失了。 因此有了FsImage,它是存在磁盘里的元数据备份文件。每当NameNode启动时,从FsImage里拿取元数 阅读全文