2022年5月30日
Shuffle
摘要： Shuffle 将数据从map端拷贝到reduce端的过程。 map生成的数据会放入内存缓冲区，大小为100M，当达到80M时溢写到磁盘中。直到map把数据计算完，然后将缓存中数据也保存到磁盘中。当map生成的数据存在分区时，磁盘中保存的数据也会分区。 本地文件合并，图中存在3个分区。 这3个分区会 阅读全文
posted @ 2022-05-30 16:44 某某人8265 阅读(404) 评论(0) 推荐(0) 编辑