ipython-cluster-helper:在不同调度程序上轻松启动IPython集群的工具

时间:2024-03-17 03:26:40
【文件属性】:

文件名称:ipython-cluster-helper:在不同调度程序上轻松启动IPython集群的工具

文件大小:25KB

文件格式:ZIP

更新时间:2024-03-17 03:26:40

Python

ipython-群集帮助器 使用IPython在集群上快速轻松地并行化Python函数,支持多个调度程序。 优化IPython默认值以处理更大的集群和同时进行的进程。 例子 假设您编写了一个程序,该程序将多个文件作为参数,并对它们执行某种长时间运行的计算。 您最初的实现使用了循环,但速度太慢 from yourmodule import long_running_function import sys if __name__ == "__main__" : for f in sys . argv [ 1 :]: long_running_function ( f ) 如果您可以访问受支持的调度程序之一,则可以使用ipython-cluster-helper在5个节点上轻松并行化程序。 from cluster_helper . cluster import c


【文件预览】:
ipython-cluster-helper-master
----MANIFEST.in(14B)
----README.rst(3KB)
----requirements.txt(94B)
----.travis.yml(229B)
----example()
--------example.py(4KB)
----setup.cfg(28B)
----HISTORY.md(7KB)
----setup.py(795B)
----.gitignore(71B)
----cluster_helper()
--------log()
--------utils.py(920B)
--------__init__.py(291B)
--------slurm.py(5KB)
--------cluster.py(50KB)
--------lsf.py(4KB)

网友评论