2022年1月26日
关于 Hive 空值过多引起的数据倾斜的两种解决方案
摘要： 场景 有木有发现工作中偶尔有些大量的null值或者一些无意义的数据参与到计算作业中，任务跑的贼慢，表中有大量的null值，如果表之间进行join关联操作，就会有shuffle产生，这样所有的null值都会集中在一个reduce中，会产生数据倾斜，降低作业效率。辣么我们该如何避免这种囧况呢，现在给大家 阅读全文
posted @ 2022-01-26 17:32 晓枫的春天 阅读(1139) 评论(0) 推荐(0) 编辑