hadoop篇——nameNode DataNode SecondaryNameNode的作用,以及如何查看操作日志

集群下的hadoop(112主节点 113,114从节点)如果112挂了,数据以及操作日志会丢失无法恢复,又称单点故障。

再启动start-all.sh hadoop后,主节点会产生 name 以及 secondary两个文件  所在地址在  /root/training/hadoop-2.7.3/tmp/dfs

其中 name 对应的是 NameNode节点:接受客户端的请求,数据上传及下载

维护HDSF中的edits文件(客户端操作日志文件)以及 fsimage(元信息文件)

举例:

执行  hdfs dfs -mkdir /tools 在hdfs中创建一个tools文件

那么在/root/training/hadoop-2.7.3/tmp/dfs/name/current 文件中

 edits_inprogress_0000000000000000135 是日志文件,但是是二级制文件正常无法查看,需要转成xml

[root@bigdata112 current]# hdfs oev -i edits_inprogress_0000000000000000135 -o ~/a.xml
[root@bigdata112 current]# cat ~/a.xml

 同时,也可以查看元文件

[root@bigdata112 current]# hdfs oiv -i fsimage_0000000000000000133 -o ~/b.xml -p XML
[root@bigdata112 current]# cat ~/b.xml

 

posted @   蔡徐坤1987  阅读(191)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· 单线程的Redis速度为什么快?
历史上的今天:
2022-04-10 idea双击无效
点击右上角即可分享
微信分享提示