文件名称：DAG的生成有向无环图-spark介绍 spark入门
文件大小：2.37MB
文件格式：PPT
更新时间：2024-05-16 04:02:58
spark学习 spark介绍 大数据ppt spark ppt
DAG的生成（有向无环图） DAG(Directed Acyclic Graph)叫做有向无环图，原始的RDD通过一系列的转换就就形成了DAG，根据RDD之间的依赖关系的不同将DAG划分成不同的Stage，对于窄依赖，partition的转换处理在Stage中完成计算。对于宽依赖，由于有Shuffle的存在，只能在parent RDD处理完成后，才能开始接下来的计算，因此宽依赖是划分Stage的依据。