spark-jupyter-docker:轻松设置带有PySpark集群的Jupyter Notebook游乐场

时间:2024-05-20 18:56:00
【文件属性】:

文件名称:spark-jupyter-docker:轻松设置带有PySpark集群的Jupyter Notebook游乐场

文件大小:5KB

文件格式:ZIP

更新时间:2024-05-20 18:56:00

Shell

适用于PySpark的Jupyter笔记本 此存储库可以轻松地使用PySpark集群(使用 )设置Jupyter Notebook,仅用于单个主机上的操场或开发环境。 默认情况下,jupyter容器映像包括: 大熊猫 麻木 科学的 scikit学习 matplotlib 张量流 张量流公园 您可以通过编辑./jupyter/Dockerfile添加其他模块。 开始吧 您只需命令: $ mkdir data $ docker-compose up -d 该命令开始: 1个Spark Master 2火花工人 1个Jupyter笔记本./data已安装到容器中的/ spark / data 然后,您可以通过以下命令获取令牌来访问笔记本。 $ docker-compose logs spark-jupyter 现在,您可以通过 访问笔记本。


【文件预览】:
spark-jupyter-docker-master
----.gitignore(12B)
----README.md(854B)
----worker()
--------Dockerfile(871B)
----jupyter()
--------Dockerfile(1KB)
--------bootstrap.sh(567B)
----docker-compose.yml(1KB)
----master()
--------Dockerfile(871B)
----data()
--------.gitkeep(0B)

网友评论