023 Spark Scheduler(调度)

时间:2023-03-09 13:28:17
023 Spark Scheduler(调度)

1.官网

  http://spark.apache.org/docs/1.6.1/job-scheduling.html
  http://spark.apache.org/docs/1.6.1/configuration.html#scheduling

  这个图可以多研究一下:

  023 Spark Scheduler(调度)

2.两种Scheduler调度器

  DAGScheduler
    负责根据DAG划分Stage,在Driver中执行,当RDD的action类型的API被触发的时候执行

  TaskScheduler
    负责Stage的一个调度,当DAGScheduler划分好DAG的stage阶段后,TaskScheduler负责将Stage对应的Task提交到Executors中执行(也是在Driver中进行操作的)

   023 Spark Scheduler(调度)

  023 Spark Scheduler(调度)

3.Spark调度模式

  也可以说调度方式。

  FIFO:先进先出(默认)
  FAIR: 公平调度

  023 Spark Scheduler(调度)