文件名称:spark-docker:Apache Spark Docker映像
文件大小:4KB
文件格式:ZIP
更新时间:2024-06-06 02:49:29
Shell
阿帕奇火花 一个容器映像。 该映像旨在用于创建具有多个工作程序的独立集群。 自定义命令 该映像包含一个名为start-spark的脚本(包含在PATH中)。 该脚本用于初始化主服务器和工作服务器。 HDFS用户 自定义命令要求设置HDFS用户。 如果从HDFS_USER环境变量中读取了用户名,则该用户将由命令自动创建。 开创高手 要启动主服务器,请运行以下命令: start-spark master 开始一个工人 要启动工作程序,请运行以下命令: start-spark worker [MASTER] 不推荐使用的命令 维护该映像以前版本中的master和worker命令是为了兼容性,但不应使用。 使用Docker Compose创建集群 使用此映像创建独立集群的最简单方法是使用 。 以下代码段可用作简单集群docker-compose.yml : version : " 2
【文件预览】:
spark-docker-master
----spark-env.sh(69B)
----Dockerfile(1KB)
----LICENSE(1KB)
----README.md(2KB)
----start-spark(662B)