摘要: spark streaming task 序列化源码 1.入口 2.RDD.scala foreachPartition 代码逻辑 3.SparkContext runJob 代码逻辑 4.DAGScheduler runJob 代码逻辑 5.DAGSchedulerEventProcessLoop 阅读全文
posted @ 2018-03-08 17:47 yimison 阅读(417) 评论(0) 推荐(0) 编辑
摘要: Scala中的None,Nothing,Null,Nil 在scala中这四个类型名称很类似,作用确实完全不同的。 None是一个object,是Option的子类型,定义如下 case object None extends Option[Nothing] { def isEmpty = true 阅读全文
posted @ 2018-03-08 11:57 yimison 阅读(281) 评论(0) 推荐(0) 编辑