摘要：
阅读全文
摘要：
阅读全文
摘要：
脑裂是因为集群中的节点失联导致的。 例如一个集群中，主节点与其它节点失联： 此时，node2和node3认为node1宕机，就会重新选主： 当node3当选后，集群继续对外提供服务，node2和node3自成集群，node1自成集群，两个集群数据不同步，出现数据差异。 当网络恢复后，因为集群中有两个 阅读全文
摘要：
但是真实的集群一定要将集群职责分离： master节点：对CPU要求高，但是内存要求第 data节点：对CPU和内存要求都高 coordinating节点：对网络带宽、CPU要求高 职责分离可以让我们根据不同节点的需求分配不同的硬件去部署。而且避免业务之间的互相干扰。 阅读全文
摘要：
阅读全文
摘要：
场景: 本地集合对象 和 分布式集合对象(RDD) 进行关联的时候需要将本地集合对象 封装为广播变量可以节省:1. 网络IO的次数2. Executor的内存占用 阅读全文
摘要：
进程和线程是操作系统中的两个基本概念，他们都是用来完成执行任务的，但是有所区别。进程是资源分配的最小单位，它代表 CPU 所能处理的单个任务。每个进程有自己的独立地址空间，每启动一个进程，系统就会为它分配地址空间，建立数据表来维护代码段、堆栈段和数据段。而线程是进程中执行运算的最小单位，它是被系统独 阅读全文
摘要：
阅读全文
摘要：
阅读全文