MapReduce运行原理和过程
摘要:
一.Map的原理和运行流程 Map的输入数据源是多种多样的,我们使用hdfs作为数据源。文件在hdfs上是以block(块,Hdfs上的存储单元)为单位进行存储的。 1.分片 我们将这一个个block划分成数据分片,即Split(分片,逻辑划分,不包含具体数据,只包含这些数据的位置信息),那么上图中 阅读全文
posted @ 2019-05-09 08:59 manzi 阅读(269) 评论(0) 推荐(0) 编辑