摘要：
spark 资源调度包 Stage(阶段) 类解析 Stage 概念 Spark 任务会根据 RDD 之间的依赖关系, 形成一个DAG有向无环图, DAG会被提交给DAGScheduler, DAGSchedular 会把DAG划分为相互依赖的多个stage。 而划分stage的依据就是RDD之间的 阅读全文
摘要：
最近看Spark的 StorageLevel(存储级别) 源码的时候 看到有 useOffHeap 这个标签, 觉得有必要挖掘一下 堆内内存(on heap memory) 堆内内存是java程序员在日常工作中解除比较多的, 可以在jvm参数中使用 Xms, Xmx 等参数来设置堆的大小和最大值 堆 阅读全文