摘要:
首先hive本质就是mapreduce,那么优化就从mapreduce开始入手。 然而mapreduce的执行快慢又和map和reduce的个数有关,所以我们先从这里下手,调整并发度。 关于map的优化: 1.调整block 作业会通过input的目录产生一个或者多个map任务。set dfs.bl 阅读全文
摘要:
首先hive本质就是mapreduce,那么优化就从mapreduce开始入手。 然而mapreduce的执行快慢又和map和reduce的个数有关,所以我们先从这里下手,调整并发度。 关于map的优化: 1.调整block 作业会通过input的目录产生一个或者多个map任务。set dfs.bl 阅读全文
|