文件名称：作业相关的名词解释-spark基础知识讲解
文件大小：1.83MB
文件格式：PPT
更新时间：2024-05-16 04:02:50
spark 原理
2.作业相关的名词解释 Job:一个action操作触发作业 Stage：一个Spark作业一般包含一到多个Stage。 Task：一个Stage包含一到多个Task，通过多个Task实现并行运行的功能。 DAGScheduler： 实现将Spark作业分解成一到多个Stage，每个Stage根据RDD的Partition个数决定Task的个数，然后生成相应的Task set放到TaskScheduler中。 TaskScheduler：实现Task分配到Executor上执行。