2023年7月25日
MapReduce面试题
摘要： ## MapReduce优化方法 或如何减少map任务的启动 或如何减少磁盘io * **数据输入** 1. 小文件合并。使用抽象类CombineFileInputFormat作为输入处理。 * **map阶段** 1. 减少spill和merge次数。通过调整io.sort.mb及sort.spi 阅读全文
posted @ 2023-07-25 11:21 郭培鑫同学 阅读(35) 评论(0) 推荐(0) 编辑