2017年5月14日
Spark性能优化指南——高级篇
摘要： Spark性能优化指南——高级篇 [TOC] 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种... 阅读全文
posted @ 2017-05-14 22:58 iclouding 阅读(312) 评论(0) 推荐(0) 编辑