文件名称:distex:Python 的分布式进程池
文件大小:5.43MB
文件格式:ZIP
更新时间:2024-06-18 08:37:58
python multiprocessing parallel-computing distributed-computing asyncio
介绍
Distex 提供了一个分布式进程池来利用多个 CPU 或机器。 它使用来有效地管理工作进程。
特征:
从 1 个处理器扩展到 1000 个处理器;
每秒可以处理大约 50.000 个小任务;
易于与 SSH(安全外壳)主机配合使用;
完全异步支持;
映射*可迭代对象;
与 (或 )兼容。
安装
pip3 install -U distex
使用远程主机时,也必须在这些主机上安装 distex。 确保可以在路径中找到distex_proc脚本。
对于 SSH 主机:由于不支持密码,因此应使用 SSH 密钥进行身份验证。 可以使用以下方法测试远程安装:
ssh