摘要:
HDFS处于安全模式的情况: NameNode启动 NameNode启动时,首先将镜像文件(Fsimage)载入内存,并执行编辑日志(Edits)中的各项操作。一旦在内存中成功建立文件系统元数据的镜像,则创建一个空的编辑日志。此时,NameNode开始监听DataNode请求。这个过程期间,Name 阅读全文
摘要:
NameNode故障后,可以采用如下两种方法恢复数据。 1)将SecondaryNameNode中数据拷贝到NameNode存储数据的目录: (1)kill -9 NameNode进程 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.3/data/tmp/dfs/ 阅读全文
摘要:
NN和2NN工作机制推演 首先要知道NameNode中的元数据是存储在哪里的? 倘若存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据 阅读全文
摘要:
HDFS读文件 (1)客户端通过DistributedFileSystem向NameNode请求下载文件,NameNode通过查询元数据,找到文件块所在的DataNode地址。 (2)挑选一台DataNode(就近原则,然后随机)服务器,请求读取数据。 (3)DataNode开始传输数据给客户端(从 阅读全文