2020年9月1日
MapReduce原理
摘要： 1.第一步对输入的数据进行切片，每个分片分配一个map()任务，map（）对其中的数据进行计算，对每个数据用键值对的形式记录，然后输出到环形缓冲区（图中sort的位置） 2.map()中输出的数据在环形缓冲区内进行快排，每个环形缓冲区默认大小100M，当数据达到80M时（默认），把数据输出到磁盘上。 阅读全文
posted @ 2020-09-01 15:56 hulifang 阅读(111) 评论(0) 推荐(0) 编辑