spree:使用Meteor实时更新Spark UI

时间:2024-05-21 04:34:23
【文件属性】:

文件名称:spree:使用Meteor实时更新Spark UI

文件大小:71KB

文件格式:ZIP

更新时间:2024-05-21 04:34:23

JavaScript

大礼包 Spree是使用和构建的用于Spark的实时更新的Web UI。 左:狂欢页面显示所有作业和阶段,并实时更新; 右:做简单工作的spark-shell ; 有关更多示例,请参见此。 特征! Spree完全重写了 ,提供了许多显着的优势…… 实时更新 多亏了魔术,所有页面上的所有数据都会实时更新。 持久性,可伸缩性 Spree为过去和当前正在运行的Spark应用程序提供了统一的界面,结合了当前在Spark的Web UI和“历史服务器”中分布的功能。 它将有关Spark应用程序的所有信息持久保存到MongoDB,从而提供易于查询的档案存储,并解决了各种Spark历史服务器的问题,例如加载时间慢,缓存问题等。 分页和排序被委派给Mongo以便优雅地处理任意大的阶段,RDD等,这比Spark当前在驱动程序上临时使用文本事件日志文件和内存映射作为临时数据库提供了更清晰的可伸缩性故事


【文件预览】:
spree-master
----ui()
--------packages.json(46B)
--------public()
--------client()
--------lib()
--------packages()
--------start(473B)
--------.gitignore(28B)
--------server()
--------.meteor()
--------spree.js(732B)
----.gitmodules(187B)
----json-relay()
----slim()
----LICENSE(11KB)
----README.md(13KB)
----.gitignore(28B)
----screencasts.md(2KB)

网友评论