2023年1月29日
【Hadoop】MapReduce数据倾斜问题解决方案
摘要： 默认情况下Map任务的数量与InputSplit数量保持一致，Map阶段的执行效率也与InputSplit数量相关，当遇到大量的小文件时我们采用SequenceFile合并成一个大文件，以此来提高运行效率（【Hadoop】MapReduce小文件问题解决方案（SequenceFile，MapFile 阅读全文
posted @ 2023-01-29 16:43 ccql 阅读(47) 评论(0) 推荐(0) 编辑