会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
stAr_1
博客园
首页
新随笔
联系
订阅
管理
2020年8月16日
hive中笛卡尔积的优化
摘要: 由于一个业务,必须要进行笛卡尔积,但是速度太慢了,left join时左表大概4万条数据,右表大概 3000多条数据,这样大概就是一亿多条数据, 这在大数据领域其实不算很大的数据量,但是hive中跑的特别慢。因为hive对笛卡尔积支持的不是很好,由于是全局的操作,所以只能在一个reduce中执行,导
阅读全文
posted @ 2020-08-16 09:51 stAr_1
阅读(4254)
评论(0)
推荐(0)
编辑
公告