Spark调优
摘要：
使用Spark有一段时间了，现在记录spark调优的一些经验。1.textFile的minparitition，只是设置最小的partition数目，下界（比如3），当数据量大的时候，改参数不起作用。可以尝试设置成10002. reduceByKey的并行度，也就是reduce的数目。 2.1 s... 阅读全文
posted @ 2014-10-31 22:42 Torstan 阅读(1285) 评论(0) 推荐(0) 编辑
