hadoop篇——nameNode DataNode SecondaryNameNode的作用,以及如何查看操作日志
集群下的hadoop(112主节点 113,114从节点)如果112挂了,数据以及操作日志会丢失无法恢复,又称单点故障。
再启动start-all.sh hadoop后,主节点会产生 name 以及 secondary两个文件 所在地址在 /root/training/hadoop-2.7.3/tmp/dfs
其中 name 对应的是 NameNode节点:接受客户端的请求,数据上传及下载
维护HDSF中的edits文件(客户端操作日志文件)以及 fsimage(元信息文件)
举例:
执行 hdfs dfs -mkdir /tools 在hdfs中创建一个tools文件
那么在/root/training/hadoop-2.7.3/tmp/dfs/name/current 文件中
edits_inprogress_0000000000000000135 是日志文件,但是是二级制文件正常无法查看,需要转成xml
[root@bigdata112 current]# hdfs oev -i edits_inprogress_0000000000000000135 -o ~/a.xml
[root@bigdata112 current]# cat ~/a.xml
同时,也可以查看元文件
[root@bigdata112 current]# hdfs oiv -i fsimage_0000000000000000133 -o ~/b.xml -p XML
[root@bigdata112 current]# cat ~/b.xml