2016年7月25日
partition实现
摘要： 分析了shuffle过程中，分区的原理和实现 阅读全文
posted @ 2016-07-25 13:59 Ivan.Jiang 阅读(379) 评论(0) 推荐(0) 编辑
Partitioner没有被调用的情况
摘要： map的输出，通过分区函数决定要发往哪个reducer。 有2种情况，我们自定义的Partitioner不会被调用 1) reducer个数为0 这种情况，没有reducer，不需要分区 2) reducer个数为1 这种情况，所有的map输出都会发到这个唯一的reducer，不需要调用我们的自定义 阅读全文
posted @ 2016-07-25 09:57 Ivan.Jiang 阅读(320) 评论(0) 推荐(0) 编辑