2016年9月8日
Spark shuffle 优化
摘要： spark.shuffle.file.buffer默认值：32k参数说明：该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前，会先写入buffer缓冲中，待缓冲写满之后，才会溢写到... 阅读全文
posted @ 2016-09-08 20:07 yuerspring 阅读(149) 评论(0) 推荐(0) 编辑