2021年5月7日
MapReduce的工作原理
在MapReduce整个过程可以概括为以下过程： input --> map --> shuffle --> reduce -->输出 输入文件会被切分成多个块，每一块都有一个map task map阶段的输出结果会先写到内存缓冲区，然后由缓冲区写到磁盘上。默认的缓冲区大小是100M，溢出的百分比是 Read More
posted @ 2021-05-07 17:58 欣欣姐 Views(503) Comments(0) Diggs(0) Edit