摘要： master和worker是物理节点，driver和executor是进程。 1、master和worker节点 搭建spark集群的时候我们就已经设置好了master节点和worker节点，一个集群有多个master节点和多个worker节点。 master节点常驻master守护进程，负责管理w 阅读全文

摘要： 1、什么是GC 垃圾收集 Garbage Collection 通常被称为“GC”，回收没用的对象以释放空间。 GC 主要回收的是虚拟机堆内存的空间，因为new 的对象主要是在堆内存。 2、频繁GC的影响及优化方法 （1）频繁的GC影响 task运行期间动态创建的对象使用的Jvm堆内存的情况 当给s 阅读全文

摘要： executor-memory 在集群资源允许的情况下，且不oom的情况下，通常越多越好，同时要在webui观察gc时长，达到平衡值(过多的内存会导致单次gc所需时间过长，过少的内存会导致频繁gc)，个人建议上限为单个containers最大值的75%。 num-executors,executor 阅读全文