2017年6月13日
spark的性能调优
摘要： 在做spark作业调优的方向应该首先考虑资源分配和任务并行度，当我们资源足够的情况下，再采取考虑其他边边角角的调优 一、分配更多的资源 1、分配哪些资源 cpu，memory。 2、怎么分配 1）、在给driver分配内存的时候，因为driver只是做任务的提交，所以内存一般不需要太大，通常给1-2 阅读全文
posted @ 2017-06-13 21:06 李晟男 阅读(540) 评论(0) 推荐(0) 编辑