distex:Python 的分布式进程池

时间:2024-06-18 08:37:58
【文件属性】:

文件名称:distex:Python 的分布式进程池

文件大小:5.43MB

文件格式:ZIP

更新时间:2024-06-18 08:37:58

python multiprocessing parallel-computing distributed-computing asyncio

介绍 Distex 提供了一个分布式进程池来利用多个 CPU 或机器。 它使用来有效地管理工作进程。 特征: 从 1 个处理器扩展到 1000 个处理器; 每秒可以处理大约 50.000 个小任务; 易于与 SSH(安全外壳)主机配合使用; 完全异步支持; 映射*可迭代对象; 与 (或 )兼容。 安装 pip3 install -U distex 使用远程主机时,也必须在这些主机上安装 distex。 确保可以在路径中找到distex_proc脚本。 对于 SSH 主机:由于不支持密码,因此应使用 SSH 密钥进行身份验证。 可以使用以下方法测试远程安装: ssh distex_proc 依赖项: 3.6 或更高版本; 在 Unix 上推荐使用uvloop包: pip3 install uvloop SSH 客户端和服务器(可选)。 例子 进程池可


网友评论