随笔分类 - mapreduce

MapReduce中一次reduce方法的调用中key的值不断变化分析及源码解析

摘要：摘要:mapreduce中执行reduce(KEYIN key, Iterable<VALUEIN> values, Context context)，调用一次reduce方法，迭代value集合时，发现key的值也是在不断变化的，这是因为key的地址在内部会随着value的迭代而不断变化。序：我阅读全文

posted @ 2017-04-20 10:22 暴躁IT老绵羊阅读(6111) 评论(3) 推荐(10) 编辑

MapReduce中map并行度优化及源码分析

摘要：mapTask并行度的决定机制一个job的map阶段并行度由客户端在提交job时决定，而客户端对map阶段并行度的规划的基本逻辑为：将待处理数据执行逻辑切片（即按照一个特定切片大小，将待处理数据划分成逻辑上的多个split），然后每一个split分配一个mapTask并行实例处理。 FileInp 阅读全文

posted @ 2017-04-19 16:20 暴躁IT老绵羊阅读(5993) 评论(0) 推荐(3) 编辑