loky:强大且可重用的joblib执行器

时间:2024-05-26 15:22:53
【文件属性】:

文件名称:loky:强大且可重用的joblib执行器

文件大小:178KB

文件格式:ZIP

更新时间:2024-05-26 15:22:53

python multiprocessing-library Python

可重用进程池执行器 目标 该项目的目的是为concurrent.futures的ProcessPoolExecutor类提供一个健壮的,跨平台和跨版本的实现。 它的显着特点是: 一致且健壮的生成行为:在POSIX系统上,所有进程都使用fork + exec启动。 这样可确保与第三方库的交互更加安全。 相反, multiprocessing.Pool默认情况下使用不带exec的fork,从而导致第三方运行时崩溃(例如,OpenMP,macOS Accelerate ...)。 可重复使用的执行程序:避免每次重新生成完整的执行程序的策略。 单例执行程序实例可以在连续调用之间重用(并在必要时动态调整大小),以限制生成和关闭开销。 可配置的空闲超时后,可以自动关闭工作进程,以释放系统资源。 透明的cloudpickle集成:并行调用交互式定义的函数和lambda表达式。 还可以注册自定义Pi


网友评论