hadoop篇——nameNode DataNode SecondaryNameNode的作用,以及如何查看操作日志
集群下的hadoop(112主节点 113,114从节点)如果112挂了,数据以及操作日志会丢失无法恢复,又称单点故障。
再启动start-all.sh hadoop后,主节点会产生 name 以及 secondary两个文件 所在地址在 /root/training/hadoop-2.7.3/tmp/dfs
其中 name 对应的是 NameNode节点:接受客户端的请求,数据上传及下载
维护HDSF中的edits文件(客户端操作日志文件)以及 fsimage(元信息文件)
举例:
执行 hdfs dfs -mkdir /tools 在hdfs中创建一个tools文件
那么在/root/training/hadoop-2.7.3/tmp/dfs/name/current 文件中
edits_inprogress_0000000000000000135 是日志文件,但是是二级制文件正常无法查看,需要转成xml
[root@bigdata112 current]# hdfs oev -i edits_inprogress_0000000000000000135 -o ~/a.xml
[root@bigdata112 current]# cat ~/a.xml
同时,也可以查看元文件
[root@bigdata112 current]# hdfs oiv -i fsimage_0000000000000000133 -o ~/b.xml -p XML
[root@bigdata112 current]# cat ~/b.xml
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· 单线程的Redis速度为什么快?
2022-04-10 idea双击无效