文件名称：partools:单机多核大数据结构的Python并行处理。 避免对只读大数据结构进行不必要的复制
文件大小：19KB
文件格式：ZIP
更新时间：2024-07-22 21:30:36
Python
零件 用于单机多核大数据结构的python并行处理的实用函数。 避免对只读大数据结构进行不必要的复制。 它包括： 1. map功能的并行版本。 它旨在以内存高效的方式在具有多个内核的单台机器上执行无限并行化的任务。 在大多数情况下，它可以直接替代标准地图功能，并利用多核的力量。 2. 用于并行处理流行的 Pandas 数据帧的实用函数。 该包基于 pathos 和 toolz 包。 它具有以下特点： 易于使用。 它几乎可以直接替代标准的非并行映射功能，同时神奇地利用您的盒子中的多个内核。 可选的，如果遇到工人功能酸洗问题，设置use_pathos = TRUE（要求使用萝包）。 避免对只读大数据结构进行不必要的复制。 假设我们要使用多个内核按部件处理一个大对象，例如，pandas.DataFrame。 默认情况下，如果您将数据结构作为工作函数的参数传递，则数据结构将被腌制。 如果数据结
【文件预览】：
partools-master
----setup.py(2KB)
----.gitignore(200B)
----partools()
--------global_manager.py(1KB)
--------__init__.py(396B)
--------config.py(52B)
--------tests()
--------parmap.py(10KB)
--------pandas_util.py(12KB)
----publish(127B)
----get_develop(156B)
----install(67B)
----LICENSE(11KB)
----README.md(4KB)