文件名称：MarbleRun:简单的异步多节点批处理器
文件大小：43KB
文件格式：ZIP
更新时间：2024-07-16 09:57:51
Python
大理石跑 MarbleRun 是一个简单的异步工具，用于简化批处理。 安装 要安装 python 模块，只需发出pip install marblerun 。 如果您希望使用预制的守护程序，请克隆存储库。 这个怎么运作： MarbleRun 目前是用 python 实现的，需要 Redis。 目前，作业被添加到队列中，并通过 MR 库由 python 处理。 作业可以被监控（意味着有一个与作业一起运行的错误处理守护进程）或不受监控。 班级 目前本地实现了四个类： Communicator - 处理消息总线和高阶类/函数之间的所有通信。 提供push和pop等动词 Elevator - 提供节点间消息传递和事实上的数据局部性 Monitor - 通过心跳机制处理丢弃的作业 Marble - 为脚本提供简单的高级访问 守护进程 尽管 MR 本身并不是一项服务，而是一个用于批处理的工具包，但
【文件预览】：
MarbleRun-master
----tools()
--------mr.py(86B)
----quickinstall-marblerun_rhel.sh(865B)
----daemons()
--------mrstatus.py(90B)
--------mrmond.py(77B)
--------mrelevd.py(215B)
--------mrstart.py(793B)
----src()
--------marblerun.egg-info()
--------dist()
--------setup.py(323B)
--------marblerun()
--------build()
----examples()
--------example-job-generate.py(305B)
--------file-dist()
--------example-job-monitored_failure.py(506B)
--------example-job-monitored.py(600B)
--------example-job-generate-alt.py(387B)
--------example-job-unmonitored.py(338B)
--------example-job-remote.py(317B)
--------example-job-monitored-alt.py(236B)
----.gitignore(574B)
----README.md(4KB)
----.gitattributes(378B)