fork和multiprocessing

时间:2024-12-01 23:03:07

多任务理解

单核cpu完成多个cpu的切换

时间片轮转

优先级调度

并发看上去一起执行

并行一起执行

调度算法

什么样的情况下用什么样的规则让谁去执行.

一般情况下电脑都是并发的

进程的创建-fork

进程VS程序

编写完毕的代码,在没有运行的时候,称为程序

正在运行的代码,称为进程

进程,除了包含代码以外,还有需要运行的环境,所以和程序是有区别的

fork()

fork创建一个进程,ret大于0是父进程,不确定返回几,ret等于0是子进程

在linux系统下(centos)才能执行,windows提示没有fork方法

import os
import time
ret = os.fork()
if ret == 0:
while True:
print('--1--')
time.sleep(1)
else:
while True:
print('--2--')
time.sleep(1)

一般操作系统能运行65535个进程,pid就像人的身份证,不可能相同

getpid获取当前进程的值

getppid获取当前进程父进程的值

fork和multiprocessing

父进程中fork的返回值,就是刚刚创建的子进程的ID

fork产生一个子进程,几乎同时打印父进程子进程1,然后父进程睡三秒,打印over,子进程1在父进程睡三秒的同时睡五秒,所以过了两秒后打印子进程2,然后打印over

import os
import time ret =os.fork() if ret==0:
print('---子进程1---')
time.sleep(5)
print('---子进程2---')
else:
print('---父进程---')
time.sleep(3) print('---over---')

全局变量在多个进程数据不共享

进程和进程之间数据不会共享

import os
import time g_num=100 ret = os.fork()
if ret == 0:
print('---process-1---')
g_num+=1
print('---process-1 g_num=%d---'%g_num)
else:
time.sleep(1)
print('---process-2---')
print('---process-2 g_num=%d---'%g_num)

网络的目的在于进程间的通信

多次fork

共四个进程

import os
import time ret = os.fork()
if ret == 0:
  #子进程
print('---1---')
else:
  #父进程
print('---2---')
#父子进程
ret = os.fork()#到这一步时,上面父进程和fork出来的子进程又都分别fork了一份进程
if ret ==0:
  #父进程的第二个子进程
  #子进程的儿子
print('---11---')
else:
  #父进程
  #子进程
print('---22---')

上段代码的变形,共有三个进程

import os
import time ret = os.fork()
if ret == 0:
  #子进程
print('---1---')
else:
  #父进程
print('---2---') ret = os.fork()
if ret ==0:
     #父进程的第二个子进程
print('---11---')
else:
     #父进程
print('---22---')

如果在某个进程下fork,那么就只能多一个进程,如果在父子进程都能执行的地方fork,它们就会各生一个儿子,就多了两个进程了

几个fork就能创建2的几次方个进程

import os
#fork炸弹,贼吊,不信试试
while True:
os.fork()

fork不能跨平台,我们用multiprocessing模块,它能跨平台

from multiprocessing import Process
import time def test():
while True:
print('---test---')
time.sleep(1) p = Process(target=test)
p.start() # 让这个子进程开始执行test函数里的代码,函数里的代码执行完后,进程也就结束了 #主进程
while True:
print('---main---')
time.sleep(1)

对上面的代码做了一些改进,只有等到子进程执行完,主进程才会结束

from multiprocessing import Process
import time def test():
for i in range(5):
print('---test---')
time.sleep(1) p = Process(target=test)
p.start() # 让这个进程开始执行test函数里的代码,函数里的代码执行完后,进程也就结束了

join

from multiprocessing import Process
import time
import random def test():
for i in range(random.randint(1,5)):
print('---%d---'%i)
time.sleep(1) p = Process(target=test)
p.start() # 让这个进程开始执行test函数里的代码,函数里的代码执行完后,进程也就结束了
p.join(2)#阻塞,等多少秒
print('---main---')

process子类

创建新的进程还能够使用类的方式,可以自定义一个类,继承process类,每次实例化这个类的时候,就等于实例化这个进程对象

fork和multiprocessing

fork和multiprocessing

进程池,缓冲数据用

fork和multiprocessing

没有因为进程数少于任务数而阻塞,创建进程池是3表示最多3个同时干活,不用销毁进程节省了时间

from multiprocessing import Pool
import os
import time def worker(num):
for i in range(5):
print('---pid=%d---num=%d' % (os.getpid(), num))
time.sleep(1) #3表示进程池中最多有3个进程一起执行
pool = Pool(3)
for i in range(10):
print('---%d---' % i)
#向进程池中添加任务
#注意:如果添加的任务数量超过了进程池中进程的个数的话,那么不会导致添加不进去
# 添加到进程池中的任务,如果还没有被执行的话,那么此时,它们会等待进程池中的进程完成一个任务之后,
# 会自动去掉用刚刚的那个进程,完成当前的新任务
pool.apply_async(worker, (i,)) pool.close()#关闭进程池,相当于不能再添加新任务了
pool.join()#主进程创建/添加任务后,主进程默认不会等待进程池中的任务执行完后才结束,
# 而是当主进程的任务做完之后,立马结束,如果这个地方没有join,会导致进程池中的任务不会执行