摘要: 一:DataNode工作机制 (1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度、 快数据的校验和(验证数据完整性)以及时间戳 (2)DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有 阅读全文
posted @ 2020-03-15 21:21 拔丝小红薯 阅读(514) 评论(0) 推荐(0) 编辑
摘要: NameNode发生故障后恢复数据的两种方法(都不能恢复全部数据) 方法一:将SecondaryNameNode中的数据拷贝到NameNode存储数据的目录 方法二:使用-importCheckpoint选项启动NameNode守护进程,从而将SecondaryNameNode中数据拷贝到NameN 阅读全文
posted @ 2020-03-15 20:28 拔丝小红薯 阅读(145) 评论(0) 推荐(0) 编辑
摘要: 一:概念 二:ovi命令查看FsImage文件 三:oev查看Edits文件 阅读全文
posted @ 2020-03-15 20:11 拔丝小红薯 阅读(204) 评论(0) 推荐(0) 编辑
摘要: 一:NameNode的元数据怎么存储比较合适? 假如存储在磁盘里,因为NameNode需要频繁的响应客户端请求进行读写,效率会比较低。假如存在内存里的话, 一旦断电那么元数据就全部丢失了。 因此有了FsImage,它是存在磁盘里的元数据备份文件。每当NameNode启动时,从FsImage里拿取元数 阅读全文
posted @ 2020-03-15 20:01 拔丝小红薯 阅读(717) 评论(0) 推荐(0) 编辑