2021年4月18日
hive常见问题以及解析
摘要： 1：数据倾斜 理论 hive数据倾斜可能的原因有哪些？主要解决方法有哪些？ 原因 1：数据倾斜多由于脏数据/特殊数据 （某一类数据集中） 2：大小表join 3：小文件过多； 解决方案 1:脏数据不参与关联，给特数据数据做随机（建表时） 2:使用mapjoin将小表加入内存。 3：合并小文件，通过s 阅读全文
posted @ 2021-04-18 22:18 cphmvp 阅读(1610) 评论(0) 推荐(0) 编辑
爬虫在线测试小工具： http://tool.haoshuju.cn/