文件名称:spark-jupyter-docker:轻松设置带有PySpark集群的Jupyter Notebook游乐场
文件大小:5KB
文件格式:ZIP
更新时间:2024-05-20 18:56:00
Shell
适用于PySpark的Jupyter笔记本
此存储库可以轻松地使用PySpark集群(使用 )设置Jupyter Notebook,仅用于单个主机上的操场或开发环境。
默认情况下,jupyter容器映像包括:
大熊猫
麻木
科学的
scikit学习
matplotlib
张量流
张量流公园
您可以通过编辑./jupyter/Dockerfile添加其他模块。
开始吧
您只需命令:
$ mkdir data
$ docker-compose up -d
该命令开始:
1个Spark Master
2火花工人
1个Jupyter笔记本./data已安装到容器中的/ spark / data
然后,您可以通过以下命令获取令牌来访问笔记本。
$ docker-compose logs spark-jupyter
现在,您可以通过
【文件预览】:
spark-jupyter-docker-master
----.gitignore(12B)
----README.md(854B)
----worker()
--------Dockerfile(871B)
----jupyter()
--------Dockerfile(1KB)
--------bootstrap.sh(567B)
----docker-compose.yml(1KB)
----master()
--------Dockerfile(871B)
----data()
--------.gitkeep(0B)