Spark 调优
摘要：
Spark 调优 1.对多次使用的RDD进行持久化 2.使用高性能的算子 3.广播大变量 4.使用kryo优化序列化性能 5.优化数据结构 6.使用高性能的库fastutil 数据本地性 jvm调优 shuffle调优 调节Executor堆外内存 数据倾斜 1.数据分布不均；2.有shuffle 阅读全文
posted @ 2022-11-03 21:05 不想写代码的小玉 阅读(24) 评论(0) 推荐(0) 编辑
