【文件属性】：
文件名称：My-Docker-Spark:我的码头工人火花
文件大小：9KB
文件格式：ZIP
更新时间：2021-05-13 10:24:07
Shell
用于Spark独立集群的Docker容器
该存储库包含一组脚本和配置文件，用于从容器运行独立集群。
要运行master执行：
./start-master.sh
要运行worker，请执行以下操作：
./start-worker.sh
您可以运行多个工作程序。 每个工作人员都可以通过容器名称“ spark_master”找到主服务器。
要针对此集群运行spark shell，请执行以下操作：
./spark-shell.sh
您可以运行多个外壳。 每个shell都可以通过其容器名称“ spark_master”来找到master。
如果您想针对此群集运行另一个容器，请阅读如何准备驱动程序容器。
如果您需要增加内存或内核数或将任何传递给spark，请使用：
./spark-shell.sh --executor-memory 300M --total-executor-
【文件预览】：
My-Docker-Spark-master
----Dockerfile(2KB)
----scripts()
--------remove_alias.sh(89B)
--------start-worker(310B)
--------spark-defaults.conf(253B)
--------spark-shell.sh(387B)
--------start-master.sh(248B)
----LICENSE(11KB)
----README.md(2KB)
----start-worker.sh(151B)
----spark-shell.sh(150B)
----start-master.sh(138B)