摘要: 引言 NameNode: 存储元数据 管理整个HDFS集群 DataNode: 存储数据的block SecondaryNameNode: 辅助HDFS完成一些事情 NameNode和SecondaryNameNode工作流程 编辑日志文件:edits 记载客户端对HDFS的增删改查的操作日志 镜像 阅读全文
posted @ 2021-07-29 20:35 张涨涨 阅读(459) 评论(0) 推荐(0) 编辑
摘要: HDFS写数据流程 数据写入流程 客户端向namenode请求上传文件,namenode检查目标文件是否已存在,父目录是否存在。 namenode返回是否可以上传。 客户端请求第一个 block上传到哪几个datanode服务器上。 namenode返回3个datanode节点,分别为dn1、dn2 阅读全文
posted @ 2021-07-29 17:53 张涨涨 阅读(108) 评论(0) 推荐(0) 编辑
摘要: 通过Java代码操作HDFS集群 目录 引言 Idea连接HDFS 第一步:引入HDFS依赖 第一种引入方式(jar包) 第二种引入方式(使用maven引用) 引入项目依赖的时候: maven项目的几个核心的生命周期: 第二步:idea操作 配置HDFS的访问路径 单元测试 HDFS的JavaAPI 阅读全文
posted @ 2021-07-29 16:14 张涨涨 阅读(3383) 评论(0) 推荐(3) 编辑
Live2D