文件名称：docker-mesos-pyspark-hdfs:使用docker容器的模拟多节点mesos（py）spark集群示例
文件大小：9KB
文件格式：ZIP
更新时间：2024-05-25 18:40:38
Shell
这些脚本使您可以模拟多节点Mesos集群，以使用Docker容器运行Spark（除了Hadoop，Hadoop目前仅配置为单个节点）。 只需稍加修改IP地址，就可以轻松地将其适应于实际的多节点部署。 基本安排是这样的： Docker主机，该主机还充当Spark客户端（提交Spark任务的位置）。 这就是您要构建映像并在其上运行容器的内容。 运行Zookeeper流程以协调Mesos领导者的Docker容器 运行Mesos主进程以充当领导者的Docker容器 运行Mesos从属进程以充当跟随者的Docker容器 运行Hadoop来通过HDFS托管文件的Docker容器 几乎所有内容都是通过run脚本来处理的。 请注意，您也可以有多个Zookeeper，但是run脚本尚未正确处理这些IP的收集。 客户端设置 如果您没有docker和docker-compose ，请运行： ./ru
【文件预览】：
docker-mesos-pyspark-hdfs-master
----run(5KB)
----example.py(681B)
----readme.md(3KB)
----docker()
--------Dockerfile.mesos(489B)
--------Dockerfile.zookeeper(586B)
--------assets()
--------Dockerfile.leader(104B)
--------Dockerfile.follower(279B)
--------Dockerfile.hadoop(1KB)