摘要: 转载自:http://tech.meituan.com/spark-tuning-pro.html 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。 数据倾 阅读全文
posted @ 2019-04-25 16:08 WeoSuper 阅读(212) 评论(0) 推荐(0) 编辑
摘要: 转载自:https://tech.meituan.com/spark-tuning-basic.html 前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计 阅读全文
posted @ 2019-04-25 15:29 WeoSuper 阅读(229) 评论(0) 推荐(0) 编辑