spark优化
摘要：
spark.shuffle.consolidateFiles=false 默认是false，shuffle阶段不进行文件的合并，1000个map和1000个reduce将产生1000 000个文件。设置为true减少shuffle阶段产生的文件数量。storageLevel的选择，根据自己的业务进行... 阅读全文
posted @ 2015-04-29 14:53 饭随笔 阅读(192) 评论(0) 推荐(0) 编辑
2015年4月29日 #