摘要: MapReduce框架主要是map和reduce阶段来计算的,map和reduce是如何协同计算的,下面直接上干货。 1 分片、格式化数据源: 输入Map阶段的数据流,必须经过分片和格式化的操作,即: 分片操作:指的是将源文件划分为相等的小数据块(Hadoop2.x中默认为128M),也就是分片(s 阅读全文
posted @ 2021-04-27 22:59 杰然不同2019 阅读(232) 评论(0) 推荐(0) 编辑