文件名称：docker-spark-cluster:适用于测试环境的简单Spark独立集群
文件大小：232KB
文件格式：ZIP
更新时间：2024-05-28 01:52:31
spark docker-compose bigdata developer-tools Dockerfile
带有Docker和docker-compose的Spark集群 一般的 一个适合您的测试环境的简单Spark独立集群。 泊坞窗-为您的Spark开发环境编写远离您的解决方案。 Docker compose将创建以下容器： 容器 IP地址 火花大师 10.5.0.2 火花工人1 10.5.0.3 spark-worker-2 10.5.0.4 火花工人3 10.5.0.5 安装 以下步骤将使您运行Spark Cluster的容器。 先决条件 安装了Docker 安装了Docker compose 可以使用的Spark Application Jar（可选） 建立图像 部署集群的第一步将是自定义映像的构建，可以使用build-images.sh脚本执行这些构建。 执行非常简单，只需执行以下步骤： chmod +x build-images.sh ./build-imag
【文件预览】：
docker-spark-cluster-master
----.dockerignore(0B)
----docker()
--------spark-master()
--------base()
--------spark-worker()
--------spark-submit()
----env()
--------spark-worker.sh(262B)
----build-images.sh(242B)
----README.md(8KB)
----spark-submit()
--------crimes-app.sh(489B)
--------DUMMY-SUBMITS.txt(757B)
----docs()
--------spark-worker-1.png(42KB)
--------spark-worker-3.png(42KB)
--------spark-worker-2.png(60KB)
--------spark-master.png(100KB)
----docker-compose.yml(628B)
----.gitignore(0B)