2018年2月28日
Spark官方调优文档翻译（转载）
摘要： Spark调优 由于大部分Spark计算都是在内存中完成的，所以Spark程序的瓶颈可能由集群中任意一种资源导致，如：CPU、网络带宽、或者内存等。最常见的情况是，数据能装进内存，而瓶颈是网络带宽；当然，有时候我们也需要做一些优化调整来减少内存占用，例如将RDD以序列化格式保存（storing RD 阅读全文
posted @ 2018-02-28 09:10 shishanyuan 阅读(1558) 评论(1) 推荐(2) 编辑