2018年1月31日
大数据入门第七天——MapReduce详解（二）切片源码浅析与自定义patition
摘要： 一、mapTask并行度的决定机制 1.概述 一个job的map阶段并行度由客户端在提交job时决定 而客户端对map阶段并行度的规划的基本逻辑为： 将待处理数据执行逻辑切片（即按照一个特定切片大小，将待处理数据划分成逻辑上的多个split，然后每一个split分配一个mapTask并行实例处理 这 阅读全文
posted @ 2018-01-31 21:55 ---江北 阅读(1157) 评论(0) 推荐(0) 编辑
TOP