摘要:
看过MR的处理流程的人应该都知道,在MR处理的时候有个split,这个split数量决定了mapper的数量,那split是怎么来的呢?我们在写MR代码的时候也没有接口可以定义split的数量,那split怎么来的? 有人说是block数量,真是是这样吗? 我们来看一下源码: 其中的getMinSp 阅读全文
摘要:
看过MR的处理流程的人应该都知道,在MR处理的时候有个split,这个split数量决定了mapper的数量,那split是怎么来的呢?我们在写MR代码的时候也没有接口可以定义split的数量,那split怎么来的? 有人说是block数量,真是是这样吗? 我们来看一下源码: 其中的getMinSp 阅读全文
|