文件名称：Spark运行基本流程-Hadoop,Hive,Hbase等框架详解
文件大小：3.06MB
文件格式：PPT
更新时间：2024-05-16 04:04:18
Hadoop Hive Spark Hbase
Spark运行基本流程 图16-7 Spark运行基本流程图 （1）首先为应用构建起基本的运行环境，即由Driver创建一个SparkContext，进行资源的申请、任务的分配和监控 （2）资源管理器为Executor分配资源，并启动Executor进程 （3）SparkContext根据RDD的依赖关系构建DAG图，DAG图提交给DAGScheduler解析成Stage，然后把一个个TaskSet提交给底层调度器TaskScheduler处理；Executor向SparkContext申请Task，Task Scheduler将Task发放给Executor运行，并提供应用程序代码 （4）Task在Executor上运行，把执行结果反馈给TaskScheduler，然后反馈给DAGScheduler，运行完毕后写入数据并释放所有资源