2022年1月4日
摘要: The following Hive statements will be transformed into four dependent MR jobs, their running process is shown in the figure, and the use of Tez can gr 阅读全文
posted @ 2022-01-04 11:07 苍狼一笑 阅读(206) 评论(0) 推荐(0) 编辑
摘要: 1.1 Map端文件合并减少Map任务数量 一般来说,HDFS的默认文件块大小是128M,如果在Hive执行任务时,发现Map端的任务过多,且执行时间多数不超过一分钟,建议通过参数,划分(split)文件的大小,合并小文件。如: 1 set hive.input.format=org.apache. 阅读全文
posted @ 2022-01-04 10:56 苍狼一笑 阅读(76) 评论(0) 推荐(0) 编辑