摘要: HDFS副本节点默认三个 第一个:存在Client(客户端)所处的节点,如果Client在集群外,那么随便选一个节点 第二个:位于第一个副本所在的节点的机架,随机一个节点 第三个:和第一副本处于不同机架上的随机一个节点 阅读全文
posted @ 2020-03-14 17:42 拔丝小红薯 阅读(188) 评论(0) 推荐(0) 编辑
摘要: HDFS的写入(上传)操作 (1)客户端向NameNode发出上传文件请求 (2)NameNode检查目标文件是否存在,父目录是否存在,然后响应客户端是否能上传 (3)客户端根据规定的块大小拆分数据,然后向NameNode询问第一个block(数据块)上传到哪些DataNode上 (4)NameNo 阅读全文
posted @ 2020-03-14 17:06 拔丝小红薯 阅读(161) 评论(0) 推荐(0) 编辑
摘要: 在java中使用FileSystem类可以操作HDFS HDFS在linux下操作的命令在java中转变为对应的方法。 一些示例: (1)通过java在HDFS中创建文件夹 (2)从本地剪切文件到HDFS (3)文件详情查看 (4)文件或目录删除 (5)从本地复制文件到HDFS (6)从HDFS下载 阅读全文
posted @ 2020-03-14 15:33 拔丝小红薯 阅读(97) 评论(0) 推荐(0) 编辑