Scala高手实战****第20课:Scala提取器、注解深度实战详解及Spark源码鉴赏

时间:2021-08-18 15:05:52

Spark中的源码的提取器和注解

@SparkContext.scala

@ volatile 线程专用 保证线程间共享内容的一致性

@volatile private var _dagScheduler: DAGScheduler = _

  

@ DeveloperApi 表示开发者使用的API

  /**
* :: DeveloperApi ::
* Return information about what RDDs are cached, if they are in mem or on disk, how much space
* they take, etc.
*/
@DeveloperApi
def getRDDStorageInfo: Array[RDDInfo] = {
getRDDStorageInfo(_ => true)
}

  

  @SQLContext.scala

    @Experimental试验性方法,不建议使用
    @transient瞬时状态,不参与序列化与反序列化,也不参与网络传输

Scala的提取器和注解编程操作实战