摘要: 一、读流程 1.客户端发起RPC读请求到NameNode 2.NameNode收到请求之后,校验这个文件是否存在,如果存在,不需要进行读权限校验,因为在hadoop的管理界面上 Permission 为: -rw-r--r--,都有读权限 而后,会将这个文件所对应的Block的存储地址放到一个队列( 阅读全文
posted @ 2020-06-22 13:41 alen-fly 阅读(204) 评论(0) 推荐(0) 编辑
摘要: dfs目录位置由core-site.xml文件中 hadoop.tmp.dir 属性决定 :hadoop.tmp.dir属性对应值/dfs 1.dfs目录是在NameNode被格式化的时候产生的 格式化:首先在停止hadoop之后,删除 hadoop.tmp.dir 属性对应值目录下的所有文件后,执 阅读全文
posted @ 2020-06-22 12:11 alen-fly 阅读(2027) 评论(0) 推荐(0) 编辑
摘要: 一、概述 1.HDFS 是用于进行分布式存储的组件 2.根据Google的论文设计实现的 HDFS 特点: (1)好处 1.能够存储超大文件 - 切块block 2.快速的应对和检测故障 - NameNode和DataNode之间的心跳检测 3.保证数据的高可用 - 副本备份 4.简易的一致性模型 阅读全文
posted @ 2020-06-22 11:08 alen-fly 阅读(256) 评论(0) 推荐(0) 编辑