摘要: 总结: 之前在教材上看hdfs的Java客户端编写,只有关键代码,呵呵……。闲话不说,上正文。 1. Hadoop 的Java客户端编写建议在linux系统上开发 2. 可以使用eclipse,idea 等IDE工具,目前比较流行的是idea 3. 新建项目之后需要添加很多jar包,win,linu 阅读全文
posted @ 2019-01-14 10:49 张曼 阅读(562) 评论(0) 推荐(0) 编辑
摘要: HDFS的实现思路:1.HDFS通过分布式集群来存储文件,为客户端提供便捷的访问方式2.文件存储到HDFS集群去的时候,被切分为block3.HDFS存放在若干datanode节点 上4.HDFS文件系统与真实的block之间有映射关系,由于NameNode管理5.每个block在集群中会存储多个副 阅读全文
posted @ 2019-01-14 09:04 张曼 阅读(338) 评论(0) 推荐(0) 编辑