摘要：
1 DataNode工作机制 DataNode工作机制，如图3-15所示。 图3-15 DataNode工作机制 1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 2）DataNode启动后向NameN 阅读全文
摘要：
1 NN和2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在 阅读全文
摘要：
1 HDFS写数据流程 1.1 剖析文件写入 HDFS写数据流程，如图3-8所示。 图3-8 配置用户名称 （1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 （2）NameNode返回是否可以上传 阅读全文
摘要：
2 HDFS的I/O流操作 2.1 HDFS文件上传 1．需求：把本地e盘上的banhua.txt文件上传到HDFS根目录 2．编写代码 @Test public void putFileToHDFS() throws IOException, InterruptedException, URISy 阅读全文