摘要：
LiveListenerBus 官方说明如下： Asynchronously passes SparkListenerEvents to registered SparkListeners. 即它的功能是异步地将SparkListenerEvent传递给已经注册的SparkListener，这种异步 阅读全文
摘要：
创建或使用现有Session 从Spark 2.0 开始，引入了 SparkSession的概念，创建或使用已有的session 代码如下： 首先，使用了 builder 模式来创建或使用已存在的SparkSession，org.apache.spark.sql.SparkSession.Build 阅读全文
摘要：
在 scala class中，经常会有很多的代码块需要执行，它们不在任何方法中，只是孤立的代码块。 案例： 反编译class文件之后部分代码如下: 可以看出，成员变量初始化和try catch代码其实被放到了构造方法中了。注意，这个跟成员变量赋值的顺序是有关系的，成员变量一定要在使用前赋值，否则会有 阅读全文
摘要：
RDD的四种依赖关系 RDD四种依赖关系，分别是 ShuffleDependency、PrunDependency、RangeDependency和OneToOneDependency四种依赖关系。如下图所示：org.apache.spark.Dependency有两个一级子类，分别是 Shuffl 阅读全文