2015年10月30日
MapReduce数据流向分析
摘要： MR数据流向示意图步骤 1输入文件从HDFS流向Mapper节点。在一般情况下，map所需要的数据就存在本节点，这就是数据本地化计算的优势，但是往往集群中数据分布不均衡(1000台节点，数据冗余度是10，每个文件并不能均匀分布在每个节点上)，而MR的计算槽位是均匀分布在节点上的(配置文件中指定的ma... 阅读全文
posted @ 2015-10-30 13:40 lz3018 阅读(826) 评论(0) 推荐(0) 编辑