2018年5月4日

spark shuffle参数及调优建议(转)

摘要: 原文:http://www.cnblogs.com/arachis/p/Spark_Shuffle.html spark.shuffle.file.buffer 默认值:32k 参数说明:该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大 阅读全文

posted @ 2018-05-04 15:23 moonlight.ml 阅读(285) 评论(0) 推荐(0) 编辑

导航