2021年9月30日
每日日报2021 9/30
摘要： 具体 Shuffle 过程详解，如下： （1）MapTask 收集我们的 map()方法输出的 kv 对，放到内存缓冲区中 （2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件 （3）多个溢出文件会被合并成大的溢出文件 （4）在溢出过程及合并的过程中，都要调用 Partitioner 进行分区 阅读全文
posted @ 2021-09-30 22:53 宋振兴 阅读(74) 评论(0) 推荐(0) 编辑