Local模式-spark基础知识讲解

时间:2024-05-16 04:02:50
【文件属性】:

文件名称:Local模式-spark基础知识讲解

文件大小:1.83MB

文件格式:PPT

更新时间:2024-05-16 04:02:50

spark 原理

1、Local模式 此种模式下,我们只需要在安装Spark时不进行hadoop和Yarn的环境配置,只要将Spark包解压即可使用,运行时Spark目录下的bin目录执行bin/spark-shell即可 2、Standalone Standalone模式是Spark实现的资源调度框架,其主要的节点有Client节点、Master节点和Worker节点。其中Driver既可以运行在Master节点上中,也可以运行在本地Client端。当用spark-shell交互式工具提交Spark的Job时,Driver在Master节点上运行;当使用spark-submit工具提交Job或者在Eclips、IDEA等开发平台上使用”new SparkConf.setManager(“spark://master:7077”)”方式运行Spark任务时,Driver是运行在本地Client端上的。 *


网友评论