2019年1月6日
spark中数据倾斜解决方案
摘要： 数据倾斜导致的致命后果： 1 数据倾斜直接会导致一种情况：OOM。 2 运行速度慢,特别慢，非常慢，极端的慢，不可接受的慢。 搞定数据倾斜需要： 1、搞定shuffle 2、搞定业务场景 3 搞定 cpu core的使用情况 4 搞定OOM的根本原因等。 数据倾斜的解决方案： 解决方案一：使用Hiv 阅读全文
posted @ 2019-01-06 17:20 Z、某某 阅读(440) 评论(0) 推荐(0) 编辑