摘要:
数据倾斜: 操作• Join on a.id=b.id• Group by• Count Distinct count(groupby)• 原因• key分布不均导致的• 人为的建表疏忽• 业务数据特点• 症状• 任务进度长时间维持在99%(或100%),查看任务监控页面,发现只有少量(1个或几个) 阅读全文
摘要:
hive --version 查看hive的版本 hive -S -e "set" | grep auto ##在shell下可以查找属性的状态。小技巧。 阅读全文