Fork me on GitHub
2018年3月1日
【Spark篇】---Spark调优之代码调优，数据本地化调优，内存调优，SparkShuffle调优，Executor的堆外内存调优
摘要： 一、前述 Spark中调优大致分为以下几种 ，代码调优，数据本地化，内存调优，SparkShuffle调优，调节Executor的堆外内存。 二、具体 1、代码调优 1、避免创建重复的RDD，尽量使用同一个RDD 2、对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略？ 默认情况下，性能最 阅读全文
posted @ 2018-03-01 20:46 L先生AI课堂 阅读(5333) 评论(0) 推荐(1) 编辑