hadoop篇——nameNode DataNode SecondaryNameNode的作用,以及如何查看操作日志

集群下的hadoop(112主节点 113,114从节点)如果112挂了,数据以及操作日志会丢失无法恢复,又称单点故障。

再启动start-all.sh hadoop后,主节点会产生 name 以及 secondary两个文件  所在地址在  /root/training/hadoop-2.7.3/tmp/dfs

其中 name 对应的是 NameNode节点:接受客户端的请求,数据上传及下载

维护HDSF中的edits文件(客户端操作日志文件)以及 fsimage(元信息文件)

举例:

执行  hdfs dfs -mkdir /tools 在hdfs中创建一个tools文件

那么在/root/training/hadoop-2.7.3/tmp/dfs/name/current 文件中

 edits_inprogress_0000000000000000135 是日志文件,但是是二级制文件正常无法查看,需要转成xml

[root@bigdata112 current]# hdfs oev -i edits_inprogress_0000000000000000135 -o ~/a.xml
[root@bigdata112 current]# cat ~/a.xml

 同时,也可以查看元文件

[root@bigdata112 current]# hdfs oiv -i fsimage_0000000000000000133 -o ~/b.xml -p XML
[root@bigdata112 current]# cat ~/b.xml

 

posted @ 2024-04-10 23:14  蔡徐坤1987  阅读(54)  评论(0编辑  收藏  举报