1、默认是*队列,如果生产任务的速度大大超过消费的速度,则会把生产任务无限添加到*队列中,这样一来控制不了生产速度,二来是会造成系统内存会被队列中的元素堆积增多而耗尽。
2、改写为有界队列
class BoundedThreadPoolExecutor(ThreadPoolExecutor):
def __init__(self, max_workers=None, thread_name_prefix=''):
super().__init__(max_workers,thread_name_prefix)
self._work_queue = queue.Queue(max_workers * 2)
这个很容易测试验证,消费函数里面来加个time.sleep,如果使用ThreadPoolExecutor会一股脑生成任务添加到任务队列中,由于线程池同时处理不了那么多的任务,任务队列内存增大。
如果使用BoundedThreadPoolExecutor,当任务队列中的任务是线程池最大线程数量的2倍后,则会被block住,不再继续生成任务,直到任务队列可以被put一个元素
具体的测试方法可以用下面来测试
def fun(i__):
time.sleep(2)
print(str(i__) + 'hi') # pool = BoundedThreadPoolExecutor(5)
pool = ThreadPoolExecutor(5)
for i in range(100):
print(i)
pool.submit(fun,i)
如果使用ThreadPoolExecutor,会迅速打印0到99.然后慢慢打印 0hi 1hi 2hi 。。。。。。。。
如果使用BoundedThreadPoolExecutor则会交替打印,不会一下子就迅速打印完0到99.