Python 多进程编程之multiprocessing--Pool
----当需要创建的子进程数量不多的时候,可以直接利用multiprocessing 中的Process 动态生成多个进程,
----但是,如果是成百上千个任务,手动创建的话,工作量会很大,此时就会用到multiprocessing 下的Pool
----初始化Pool 时,可以指定一个最大的进程数,当背后的请求提交到Pool 中时,如果池子没有满,那么就会创建一个新的进程来执行该请求. 如果满了(池子中的进程以及达到最大进程数)那么该请求就会等待,直到池子中有进程结束,才会创建新的进程来执行.
from multiprocessing import Pool
import os,time,random #定义一个函数
def download(i):
print("(%d)--ID号为:%d的进程开始执行"%(i,os.getpid()))
t_start = time.time() time.sleep(random.random()*10) t_stop = time.time()
print("(%d)---ID:%d执行完毕，耗时%f秒！"%(i,os.getpid(),t_stop-t_start)) if __name__ == "__main__":
po = Pool(3)#定义一个进程池，最大进程的数量
for i in range(10): #每次循环将会用空闲出来的子进程去调用目录--同步（自加阻塞）
#po.apply(func=download,args=(i,)) #每次循环将会用空闲出来的子进程去调用目录--异步
po.apply_async(func=download,args=(i,)) print("----start----")
po.close()#关闭进程池，关闭后po就不再接收您的请求。
po.join() #等待po中所有的子进程执行完成，必需放在close之后。 print("----end------")
- 添加join()的原因是,
----此方法可能不会在页面打印除任何内容，因为一次执行3个进程
----3个进程执行的时间相差极为短暂，会在打印页面引起冲突，所以不会有任何内容输出 po.apply(func=download,args=(i,)) 执行的结果如下:你会发现是每次执行一个进程.
(0)id号为：25334的进程开始执行
(0)id号25334执行完毕，耗时3.866196秒
(1)id号为：25335的进程开始执行
(1)id号25335执行完毕，耗时3.393492秒
(2)id号为：25333的进程开始执行
(2)id号25333执行完毕，耗时9.758717秒
(3)id号为：25334的进程开始执行
(3)id号25334执行完毕，耗时0.150672秒
(4)id号为：25335的进程开始执行
(4)id号25335执行完毕，耗时8.498094秒
(5)id号为：25333的进程开始执行
(5)id号25333执行完毕，耗时9.061761秒
(6)id号为：25334的进程开始执行
(6)id号25334执行完毕，耗时8.845187秒
(7)id号为：25335的进程开始执行
(7)id号25335执行完毕，耗时6.623793秒
(8)id号为：25333的进程开始执行
(8)id号25333执行完毕，耗时2.530908秒
(9)id号为：25334的进程开始执行
(9)id号25334执行完毕，耗时9.739911秒
------start-------
------end----------- po.apply_async(func=download,args=(i,)) 执行的结果如下:你会发现开始是执行3个进程,之后只要有进程结束,等待的进程就会执行
------start-------
(1)id号为：25313的进程开始执行
(2)id号为：25314的进程开始执行
(0)id号为：25315的进程开始执行
(0)id号25315执行完毕，耗时0.853286秒
(3)id号为：25315的进程开始执行
(3)id号25315执行完毕，耗时5.674426秒
(4)id号为：25315的进程开始执行
(4)id号25315执行完毕，耗时1.449967秒
(5)id号为：25315的进程开始执行
(1)id号25313执行完毕，耗时9.333982秒
(6)id号为：25313的进程开始执行
(2)id号25314执行完毕，耗时9.982127秒
(7)id号为：25314的进程开始执行
(5)id号25315执行完毕，耗时2.919765秒
(8)id号为：25315的进程开始执行
(7)id号25314执行完毕，耗时2.520782秒
(9)id号为：25314的进程开始执行
(6)id号25313执行完毕，耗时6.414589秒
(9)id号25314执行完毕，耗时7.013178秒
(8)id号25315执行完毕，耗时9.927967秒
------end----------