2022 年 1月 4 日随笔档案 - 苍狼一笑

2022年1月4日

摘要： The following Hive statements will be transformed into four dependent MR jobs, their running process is shown in the figure, and the use of Tez can gr 阅读全文

posted @ 2022-01-04 11:07 苍狼一笑阅读(200) 评论(0) 推荐(0) 编辑

摘要： 1.1 Map端文件合并减少Map任务数量一般来说，HDFS的默认文件块大小是128M，如果在Hive执行任务时，发现Map端的任务过多，且执行时间多数不超过一分钟，建议通过参数，划分(split)文件的大小，合并小文件。如： 1 set hive.input.format=org.apache. 阅读全文

posted @ 2022-01-04 10:56 苍狼一笑阅读(73) 评论(0) 推荐(0) 编辑