摘要: mapreduce是一个运算框架,让多台机器进行并行进行运算, 他把所有的计算都分为两个阶段,一个是map阶段,一个是reduce阶段 map阶段:读取hdfs中的文件,分给多个机器上的maptask,分文件的时候是按照文件的大小分的 比如每个maptask都会处理128M的文件大小,然后有个500 阅读全文
posted @ 2019-07-24 15:48 踩在浪花上 阅读(638) 评论(0) 推荐(0) 编辑