摘要： 跑sql的时候会出现的参数： In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer=<number> ######### 如果大于<number>， 阅读全文

摘要： 数据倾斜： 操作• Join on a.id=b.id• Group by• Count Distinct count(groupby)• 原因• key分布不均导致的• 人为的建表疏忽• 业务数据特点• 症状• 任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个） 阅读全文

摘要： hive --version 查看hive的版本 hive -S -e "set" | grep auto ##在shell下可以查找属性的状态。小技巧。 阅读全文