Spark性能调优

石杉老师讲要从以下几个方面去优化Spark的性能,其中Shuffle调优是重点。 

 

下面是与调优相关的几篇不错的博客,以供参考

官网的调优 https://spark.apache.org/docs/latest/tuning.html

序列化 https://stackoverflow.com/questions/40261987/when-to-use-kryo-serialization-in-spark

shuffle调优 https://www.cnblogs.com/arachis/p/Spark_Shuffle.html

 

posted @ 2019-04-07 21:11  代号菜鸟  阅读(116)  评论(0编辑  收藏  举报