2020年4月10日
Spark参数调优
摘要： Executor的内存分为3块 ： • 第一块：让task执行代码时，默认占executor总内存的20% • 第二块：task通过shuffle过程拉取上一个stage的task的输出后，进行聚合等操作时使用 ，默认也是占20% • 第三块：让RDD持久化时使用，默认占executor总内存的60 阅读全文
posted @ 2020-04-10 10:53 xd_xumaomao 阅读(218) 评论(0) 推荐(0) 编辑