文件名称:sparkmonitor:从Jupyter Notebook监视Apache Spark
文件大小:903KB
文件格式:ZIP
更新时间:2024-06-12 21:01:43
extension spark jupyter JavaScript
Spark Monitor-Jupyter Notebook的扩展 注意:此项目现在位于 对于该项目的Google Summer of Code最终报告, 关于 + = SparkMonitor是Jupyter Notebook的扩展,可实时监视从笔记本生成的Apache Spark Jobs。 该扩展提供了一些功能,可从笔记本界面本身内部监视和调试Spark作业。 特征 在Jupyter笔记本中运行Spark作业的单元下方自动显示实时监视工具 带有进度条的作业和阶段表 显示工作,阶段和任务的时间表 该图显示了活动任务和执行者核心的数量与时间的关系 一个笔记本服务器扩展,可代理Spark UI并在iframe弹出窗口中显示,以获取更多详细信息 有关功能的详细列表,请参见用例笔记本 这个怎么运作 快速安装 pip install sparkmonitor jupyter nbe
【文件预览】:
sparkmonitor-master
----.gitignore(222B)
----Dockerfile(618B)
----.dockerignore(59B)
----.travis.yml(3KB)
----LICENSE(11KB)
----notebooks()
--------Testing Extension.ipynb(4KB)
--------DistROOT.ipynb(49KB)
----README.md(6KB)
----docs()
--------usecase_sparktraining.md(3KB)
--------usecase_testing.md(4KB)
--------index.md(7KB)
--------install.md(3KB)
--------jsdoc()
--------usecases.md(667B)
--------_config.yml(119B)
--------how.md(5KB)
--------usecase_distroot.md(4KB)
----extension()
--------setup.py(542B)
--------package.json(1KB)
--------webpack.config.js(2KB)
--------MANIFEST.in(79B)
--------scalalistener()
--------js()
--------sparkmonitor()
--------VERSION(8B)
--------conf.json(418B)
--------yarn.lock(202KB)