hive并行执行作业; 强化在脑海的印象

如果集群资源充足可以设置:set hive.exec.parallel=true; (默认是false) 这样相互独立的job可以并行执行!!!!

 

 

 

 

count(distinct) 最好改写为group 之后再count distinct 这样并行度高,否则前者会全都放到一个reduce进行去重count

 

posted @ 2018-11-29 17:45  bf378  阅读(389)  评论(0编辑  收藏  举报