望天,浩瀚苍穹

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2018年8月20日

摘要: 一、map方法执行之前 我们知道,HDFS里的文件是分块存放在Datanode上面的,而我们写的mapper程序也是跑在各个节点上的。这里就涉及到一个问题,哪一个节点上的mapper读哪一些节点上的文件块呢?hadoop会自动将这个文件分片(split),得到好多split,这每一个split放到一 阅读全文
posted @ 2018-08-20 16:04 望天,浩瀚苍穹 阅读(160) 评论(0) 推荐(0) 编辑