Scala高手实战****第20课:Scala提取器、注解深度实战详解及Spark源码鉴赏

Spark中的源码的提取器和注解

       @SparkContext.scala

               @ volatile 线程专用 保证线程间共享内容的一致性

@volatile private var _dagScheduler: DAGScheduler = _

  

                @ DeveloperApi 表示开发者使用的API

  /**
   * :: DeveloperApi ::
   * Return information about what RDDs are cached, if they are in mem or on disk, how much space
   * they take, etc.
   */
  @DeveloperApi
  def getRDDStorageInfo: Array[RDDInfo] = {
    getRDDStorageInfo(_ => true)
  }

  

  @SQLContext.scala

    @Experimental试验性方法,不建议使用
    @transient瞬时状态,不参与序列化与反序列化,也不参与网络传输

 

Scala的提取器和注解编程操作实战

 

posted @ 2018-11-22 15:31  Mars、少年  阅读(333)  评论(0编辑  收藏  举报