文件名称：spark-cluster-docker
文件大小：242KB
文件格式：ZIP
更新时间：2024-03-28 15:36:24
Dockerfile
Spark集群Docker 由提供支持 该存储库包含Docker文件，以使用JupyterLab接口创建一个Spark集群。 该集群用作Rock JVM在线课程和Apache Spark上的实时培训课程的教学工具： 加上以上的企业培训课程 为Spark 3.0.0设置了集群。 如何安装 作为前提条件，您需要为您的OS安装Docker。 该存储库已经在Linux和macOS上进行了测试，但是使用Bash解释器，它也可以按原样在Windows上运行。 然后，您需要构建Docker映像。 该存储库包含用于的图像定义 JupyterLab界面 一个Spark主节点 一个Spark worker节点（我们将实例化其中的两个，每个节点带有2个vCore和1GB内存） 要构建映像，请从根目录运行构建脚本： ./build-images.sh 命令完成后，仍在根目录中，运行 docker-comp
【文件预览】：
spark-cluster-docker-master
----build-images.sh(724B)
----jupyter-cluster-base()
--------Dockerfile(424B)
----start-pyspark.sh(97B)
----start-spark-shell.sh(101B)
----start-spark-sql.sh(111B)
----jupyter-spark-worker()
--------Dockerfile(233B)
----jupyter-spark-base()
--------Dockerfile(734B)
----docker-compose.yml(1KB)
----jupyter-spark-master()
--------Dockerfile(295B)
----README.md(2KB)
----shared-workspace()
--------starter-notebook.ipynb(846B)
--------data()
--------.ipynb_checkpoints()
----jupyterlab()
--------Dockerfile(397B)