2023 年 3月 1 日随笔档案 - 药水哥biss

datanode 宕机后,恢复的流程

摘要：一、大致流程 Datanode宕机了后，如果是短暂的宕机，可以实现写好脚本监控，将它启动起来。如果是长时间宕机了，那么datanode上的数据应该已经被备份到其他机器了，那这台datanode就是一台新的datanode了，删除他的所有数据文件和状态文件，重新启动。二、详细流程总体上涉及了心跳检阅读全文

posted @ 2023-03-01 17:19 药水哥biss 阅读(423) 评论(0) 推荐(0) 编辑

Hadoop读写流程

摘要：一、HDFS读流程 1、client跟namenode通信查询元数据，找到文件块block所在的datanode服务器 2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流 3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验，大小为6 阅读全文

posted @ 2023-03-01 16:13 药水哥biss 阅读(206) 评论(0) 推荐(0) 编辑

2023年3月1日

公告