摘要: 一、HDFS 的写数据操作 客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。 NameNode返回是否可以上传。 客户端请求第一个 Block上传到哪几个DataNode服务器上。 NameNode返回 阅读全文
posted @ 2020-10-12 22:38 晓枫的春天 阅读(91) 评论(0) 推荐(0) 编辑
摘要: 上面我们学的API操作HDFS系统都是框架封装好的。那么如果我们想自己实现上述API的操作该怎么实现呢?我们可以采用IO流的方式实现数据的上传和下载。 1、上传本地文件到 HDFS ; public static Configuration conf = new Configuration(); / 阅读全文
posted @ 2020-10-12 22:18 晓枫的春天 阅读(122) 评论(0) 推荐(0) 编辑