2019年3月14日
【Spark调优】数据本地化与参数调优
摘要： 数据本地化对于Spark Job性能有着巨大的影响，如果数据以及要计算它的代码是在一起的，那么性能当然会非常高。但是，如果数据和计算它的代码是分开的，那么其中之一必须到另外一方的机器上。移动代码到其匹配的数据节点，会比移动大量数据到代码所在的节点上去，速度要快得多，因为代码比较小。Spark也正是基 阅读全文
posted @ 2019-03-14 22:20 wwcom123 阅读(500) 评论(0) 推荐(0) 编辑