2020年8月16日
hive中笛卡尔积的优化
摘要： 由于一个业务，必须要进行笛卡尔积，但是速度太慢了，left join时左表大概4万条数据，右表大概 3000多条数据，这样大概就是一亿多条数据， 这在大数据领域其实不算很大的数据量，但是hive中跑的特别慢。因为hive对笛卡尔积支持的不是很好，由于是全局的操作，所以只能在一个reduce中执行，导 阅读全文
posted @ 2020-08-16 09:51 stAr_1 阅读(4301) 评论(0) 推荐(0) 编辑