Etl之HiveSql调优(union all)

相信在Etl的过程中不可避免的实用union all来拼装数据,那么这就涉及到是否并行处理的问题了。

在hive中是否适用并行map,可以通过参数来设定:

set hive.exec.parallel=true; 

那么还是实用上一篇博客的数据,链接:http://www.cnblogs.com/liqiu/p/4873238.html

如果咱们需要一些数据:

select * from (select sight_id from order_sight where create_time="2015-10-10" and sight_id = 9718 union all select id as sight_id from sight where id = 9718) a;

就是模拟分别从两个表里面获取数据,如果不开启并行,实用的时间是开启时间的两倍,所以这个地方多加注意!

posted @   李秋  阅读(2583)  评论(0编辑  收藏  举报
编辑推荐:
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
阅读排行:
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 提示词工程——AI应用必不可少的技术
· Open-Sora 2.0 重磅开源!
· 字符编码:从基础到乱码解决
历史上的今天:
2012-10-12 php高并发状态下文件的读写(fopen,fwrite,fread)
2012-10-12 MYSQL查询缓存
点击右上角即可分享
微信分享提示