lazypool:懒惰地映射您的可迭代对象的执行程序

时间:2024-06-22 06:30:26
【文件属性】:

文件名称:lazypool:懒惰地映射您的可迭代对象的执行程序

文件大小:8KB

文件格式:ZIP

更新时间:2024-06-22 06:30:26

Python

懒人池 什么 懒惰地映射您的可迭代对象的线程池执行程序 为什么 multiprocessing池和concurrent.futures执行器都有一个问题,如果您尝试将它们映射到某个可迭代对象上,它们希望将整个可迭代对象加载到一个内部队列中,以便线程退出。 在单个项特别占用内存的情况下,或者迭代本身是无限的,并且您正在执行诸如流处理之类的操作时,这是不可取的。 因此,本着我的员工最好的传统,我决定编写自己的线程池,它只会在每个项目准备好处理时才加载它。 “懒惰”可能有点用词不当。 就实际工作而言,它实际上非常不懒惰,并且一旦您调用map就会开始将项目委托给工作线程。 如何 import itertools from lazypool import LazyThreadPoolExecutor stream = itertools . count ( 0 ) def work ( num


【文件预览】:
lazypool-master
----examples.py(647B)
----LICENSE(11KB)
----lazypool()
--------executors.py(2KB)
--------__init__.py(46B)
----setup.py(266B)
----README.md(1KB)
----.gitignore(675B)

网友评论