[Python] 多进程编程

python 多进程编程

python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包multiprocessing，只需要定义一个函数，Python会完成其他所有事情。借助这个包，可以轻松完成从单进程到并发执行的转换。multiprocessing支持子进程、通信和共享数据、执行不同形式的同步，提供了Process、Queue、Pipe、Lock等组件。

1、Process

Process构造函数主要有两个参数，target表示要运行的函数名，args表示传递的参数。

方法：

is_alive()、join([timeout])、run()、start()、terminate()。

run和start的区别：

start()方法
开始线程活动。
对每一个线程对象来说它只能被调用一次，它安排对象在一个另外的单独线程中调用run()方法（而非当前所处线程）。
当该方法在同一个线程对象中被调用超过一次时，会引入RuntimeError(运行时错误)。
run()方法
代表了线程活动的方法。
你可以在子类中重写此方法。标准run()方法调用了传递给对象的构造函数的可调对象作为目标参数，如果有这样的参数的话，顺序和关键字参数分别从args和kargs取得。

所以简单地说，start就是另外开启一个进程来运行这个函数，run就是在当前进程下开始这个函数。

import multiprocessing


def worker(value1, value2):
    print(multiprocessing.current_process())

p1 = multiprocessing.Process(target=worker, args=(1, 2,))
p2 = multiprocessing.Process(target=worker, args=(3, 4,))
p1.run()
p2.start()

<_MainProcess(MainProcess, started)>
<Process(Process-2, started)>

daemon 后台驻留程序

意思就是说，如果主进程运行结束，则结束子进程。

import multiprocessing
import time


def worker(value1, value2):
    time.sleep(1)
    print(multiprocessing.current_process())

p1 = multiprocessing.Process(target=worker, args=(1, 2,))
p2 = multiprocessing.Process(target=worker, args=(3, 4,))
p1.daemon = True
p2.daemon = True
p1.start()
p2.start()
print("end")

end

import multiprocessing
import time


def worker(value1, value2):
    time.sleep(1)
    print(multiprocessing.current_process())

p1 = multiprocessing.Process(target=worker, args=(1, 2,))
p2 = multiprocessing.Process(target=worker, args=(3, 4,))
p1.daemon = True
p2.daemon = True
p1.start()
p2.start()
p1.join()
p2.join()
print("end")

<Process(Process-1, started daemon)>
<Process(Process-2, started daemon)>
end

需要注意的是，如果调用的是run，则会正常输出，因为run是在当前进程中运行。

Lock

通过锁来解决进程间数据同步问题。
可以通过两种方式来使用Lock。

import multiprocessing
import time


def worker(lock, value2):
with lock:
        print(lock)
        print(value2)
    lock.acquire()
    print(lock)
    print(value2)
    lock.release()

lock = multiprocessing.Lock()
p1 = multiprocessing.Process(target=worker, args=(lock, 2,))
p2 = multiprocessing.Process(target=worker, args=(lock, 4,))
p1.run()
p2.run()

Semaphore

信号量，和PV原语使用方法是一致的，可以用来控制对共享资源的最大连接数。

import multiprocessing
import time


def worker(s, i):
    s.acquire()
    print(multiprocessing.current_process().name + "acquire")
    time.sleep(i)
    print(multiprocessing.current_process().name + "release\n")
    s.release()

if __name__ == "__main__":
    s = multiprocessing.Semaphore(2)
for i in range(5):
        p = multiprocessing.Process(target = worker, args=(s, i*2))
        p.start()

Process-1acquire
Process-1release

Process-2acquire
Process-3acquire
Process-2release

Process-4acquire
Process-3release

Process-5acquire
Process-4release

Process-5release

Queue 实现读者写者问题

Queue是多进程安全的队列，可以使用Queue实现多进程之间的数据传递。put方法用以插入数据到队列中，put方法还有两个可选参数：blocked和timeout。如果blocked为True（默认值），并且timeout为正值，该方法会阻塞timeout指定的时间，直到该队列有剩余的空间。如果超时，会抛出Queue.Full异常。如果blocked为False，但该Queue已满，会立即抛出Queue.Full异常。

get方法可以从队列读取并且删除一个元素。同样，get方法有两个可选参数：blocked和timeout。如果blocked为True（默认值），并且timeout为正值，那么在等待时间内没有取到任何元素，会抛出Queue.Empty异常。如果blocked为False，有两种情况存在，如果Queue有一个值可用，则立即返回该值，否则，如果队列为空，则立即抛出Queue.Empty异常。Queue的一段示例代码：

import multiprocessing
import time

def writer_proc(q):
while True:
try:
            q.put(1, block = False)
except:
pass


def reader_proc(q):
while True:
try:
print q.get(block = False)
except:
            time.sleep(1)
pass

if __name__ == "__main__":
    q = multiprocessing.Queue(3)
    writer = multiprocessing.Process(target=writer_proc, args=(q,))
    writer.start()

    reader = multiprocessing.Process(target=reader_proc, args=(q,))
    reader.start()

    reader.join()
    writer.join()

pipe 用于实现IPC（进程间通信）

Pipe方法返回(conn1, conn2)代表一个管道的两个端。Pipe方法有duplex参数，如果duplex参数为True(默认值)，那么这个管道是全双工模式，也就是说conn1和conn2均可收发。duplex为False，conn1只负责接受消息，conn2只负责发送消息。

send和recv方法分别是发送和接受消息的方法。例如，在全双工模式下，可以调用conn1.send发送消息，conn1.recv接收消息。如果没有消息可接收，recv方法会一直阻塞。如果管道已经被关闭，那么recv方法会抛出EOFError。

import multiprocessing
import time

def proc1(pipe):
while True:
for i in xrange(10000):
print "send: %s" %(i)
            pipe.send(i)
            time.sleep(1)

def proc2(pipe):
while True:
print "proc2 rev:", pipe.recv()
        time.sleep(1)

def proc3(pipe):
while True:
print "PROC3 rev:", pipe.recv()
        time.sleep(1)

if __name__ == "__main__":
    pipe = multiprocessing.Pipe()
    p1 = multiprocessing.Process(target=proc1, args=(pipe[0],))
    p2 = multiprocessing.Process(target=proc2, args=(pipe[1],))
#p3 = multiprocessing.Process(target=proc3, args=(pipe[1],))

    p1.start()
    p2.start()
#p3.start()

    p1.join()
    p2.join()
#p3.join()

Pool 进程池

在利用Python进行系统管理的时候，特别是同时操作多个文件目录，或者远程控制多台主机，并行操作可以节约大量的时间。当被操作对象数目不大时，可以直接利用multiprocessing中的Process动态成生多个进程，十几个还好，但如果是上百个，上千个目标，手动的去限制进程数量却又太过繁琐，此时可以发挥进程池的功效。
Pool可以提供指定数量的进程，供用户调用，当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，才会创建新的进程来它。

函数解释：

• apply_async(func[, args[, kwds[, callback]]]) 它是非阻塞，apply(func[, args[, kwds]])是阻塞的（理解区别，看例1例2结果区别）
• close() 关闭pool，使其不在接受新的任务。
• terminate() 结束工作进程，不在处理未完成的任务。
• join() 主进程阻塞，等待子进程的退出， join方法要在close或terminate之后使用。

非阻塞

#coding: utf-8
import multiprocessing
import time

def func(msg):
print "msg:", msg
    time.sleep(3)
print "end"

if __name__ == "__main__":
    pool = multiprocessing.Pool(processes = 3)
for i in xrange(4):
        msg = "hello %d" %(i)
        pool.apply_async(func, (msg, ))   #维持执行的进程总数为processes，当一个进程执行完毕后会添加新的进程进去

print "Mark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~"
    pool.close()
    pool.join()   #调用join之前，先调用close函数，否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
print "Sub-process(es) done."

mMsg: hark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~ello 0

msg: hello 1
msg: hello 2
end
msg: hello 3
end
end
end
Sub-process(es) done.

就算是说，主进程不需要等待子进程运行完，主进程可以独立完成自己的任务。

阻塞

#coding: utf-8
import multiprocessing
import time

def func(msg):
print "msg:", msg
    time.sleep(3)
print "end"

if __name__ == "__main__":
    pool = multiprocessing.Pool(processes = 3)
for i in xrange(4):
        msg = "hello %d" %(i)
        pool.apply(func, (msg, ))   #维持执行的进程总数为processes，当一个进程执行完毕后会添加新的进程进去

print "Mark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~"
    pool.close()
    pool.join()   #调用join之前，先调用close函数，否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
print "Sub-process(es) done."

msg: hello 0
end
msg: hello 1
end
msg: hello 2
end
msg: hello 3
end
Mark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~
Sub-process(es) done.

主进程必须等待子进程运行完才能够继续执行自己的代码。

进程池中的进程间数据共享

import multiprocessing
import time


def worker(array, value):
with lock:
        array.append(value)


def init(l):
global lock
    lock = l

manager = multiprocessing.Manager()
globalArray = manager.list()
l = multiprocessing.Lock()
print(time.clock())
pool = multiprocessing.Pool(5, initializer=init, initargs=(l,))
for i in range(10):
    pool.apply_async(worker, args=(globalArray, i,))
pool.close()
pool.join()
print(len(globalArray))

值得注意的是，manager中是需要加锁的，具体原因如下：

import multiprocessing
import time


def worker(array, value):
with lock:
        time.sleep(1 - value / 10)
        array.append(value)


def init(l):
global lock
    lock = l

manager = multiprocessing.Manager()
globalArray = manager.list()
l = multiprocessing.Lock()
pool = multiprocessing.Pool(5, initializer=init, initargs=(l,))
for i in range(10):
    pool.apply_async(worker, args=(globalArray, i,))
pool.close()
pool.join()
print(globalArray)

[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

import multiprocessing
import time


def worker(array, value):
    time.sleep(1 - value / 10)
    array.append(value)


def init(l):
global lock
    lock = l

manager = multiprocessing.Manager()
globalArray = manager.list()
l = multiprocessing.Lock()
pool = multiprocessing.Pool(5, initializer=init, initargs=(l,))
for i in range(10):
    pool.apply_async(worker, args=(globalArray, i,))
pool.close()
pool.join()
print(globalArray)

[1, 0, 2, 3, 4, 5, 6, 7, 8, 9]

可以发现两种做法的结果是不一样的，所以是需要进行加锁的。

文中部分内容引用python多进程编程