摘要：
Spark算子：RDD基本转换操作(1)–map、flagMap、distinct Spark算子：RDD创建操作 Spark算子：RDD基本转换操作(2)–coalesce、repartition Spark算子：RDD基本转换操作(3)–randomSplit、glom Spark算子：RDD基 阅读全文
摘要：
CPU总核数 = 物理CPU个数 * 每颗物理CPU的核数 总逻辑CPU数 = 物理CPU个数 * 每颗物理CPU的核数 * 超线程数 这些都代表什么，那就请看CPU架构 多个物理CPU，CPU通过总线进行通信，效率比较低，如下： 多核CPU，不同的核通过L2 cache进行通信，存储和外设通过总线 阅读全文
摘要：
Spark On YARN内存和CPU分配 问题描述： 在使用Spark On YARN时（无论是Client模式或者是Cluster模式，当然下面会有这种模式的对比区别），可以添加诸如： --executor-memory 8G --executor-cores 5 --num-executors 阅读全文
摘要：
【YARN中内存资源的调度和隔离】 基于以上考虑，YARN允许用户配置每个节点上可用的物理内存资源，注意，这里是“可用的”，因为一个节点上的内存会被若干个服务共享，比如一部分给YARN，一部分给HDFS，一部分给HBase等，YARN配置的只是自己可以使用的，配置参数如下： （1）yarn.node 阅读全文