Spark运行模式-spark介绍 spark入门

时间:2024-05-16 04:02:53
【文件属性】:

文件名称:Spark运行模式-spark介绍 spark入门

文件大小:2.37MB

文件格式:PPT

更新时间:2024-05-16 04:02:53

spark学习 spark介绍 大数据ppt spark ppt

Spark运行模式 local(本地模式):常用于本地开发测试,本地还分为local单线程和local-cluster多线程; standalone(集群模式):典型的Mater/slave模式 on yarn(集群模式): 运行在 yarn 资源管理器框架之上,由 yarn 负责资源管理,Spark 负责任务调度和计算 on mesos(集群模式): 运行在 mesos 资源管理器框架之上,由 mesos 负责资源管理,Spark 负责任务调度和计算 on cloud(集群模式):比如 AWS 的 EC2,使用这个模式能很方便的访问 Amazon的 S3;Spark 支持多种分布式存储系统:HDFS 和 S3


网友评论