摘要: 1.Jvm重用JVM重用不是指同一Job的两个或两个以上的Task同时运行于同一JVM上,而是 N个Task按顺序在同一个Jvm上运行,即省去了Jvm关闭和再重启的时间。N值可以在Hadoop的mapre-site.xml文件mapreduce.job.jvm.numtasks(默认1)属性进行设置... 阅读全文
posted @ 2015-09-07 15:20 skyl夜 阅读(2086) 评论(0) 推荐(0) 编辑
摘要: 1.jvm重用:详见Hadoop性能调优2.并行执行即同时执行hive的多个阶段。hive在执行过程,将一个查询转化成一个或者多个阶段,而这些阶段可能并非完全相互依赖的,也就是说可以并行执行的,这样可能使得整个job的执行时间缩短hive执行开启:set hive.exec.parallel=tru... 阅读全文
posted @ 2015-09-07 15:00 skyl夜 阅读(979) 评论(0) 推荐(0) 编辑