Python多线程编程 - 用队列实现生产者消费者模式

生产者和消费者模式的实现有很多中方式。这里的示例基于队列来实现生产者和消费者模式。

生产者和消费者在各自的线程中运行，并检查队列的状态。如果队列没有满，生产者线程负责往队列里放数据。消费者线程负责从队列里取数据，前提是队列不是空的。

代码示例：

import threading
import time
import logging
import random
import Queue
logging.basicConfig(level=logging.DEBUG,
                    format='(%(threadName)-9s) %(message)s',)
BUF_SIZE = 10
q = Queue.Queue(BUF_SIZE)
class ProducerThread(threading.Thread):
    def __init__(self, group=None, target=None, name=None,
                 args=(), kwargs=None, verbose=None):
        super(ProducerThread,self).__init__()
        self.target = target
        self.name = name
    def run(self):
        while True:
            if not q.full():
                item = random.randint(1,10)
                q.put(item)
                logging.debug('Putting ' + str(item)  
                              + ' : ' + str(q.qsize()) + ' items in queue')
                time.sleep(random.random())
        return
class ConsumerThread(threading.Thread):
    def __init__(self, group=None, target=None, name=None,
                 args=(), kwargs=None, verbose=None):
        super(ConsumerThread,self).__init__()
        self.target = target
        self.name = name
        return
    def run(self):
        while True:
            if not q.empty():
                item = q.get()
                logging.debug('Getting ' + str(item) 
                              + ' : ' + str(q.qsize()) + ' items in queue')
                time.sleep(random.random())
        return
if __name__ == '__main__':
    p = ProducerThread(name='producer')
    c = ConsumerThread(name='consumer')
    p.start()
    time.sleep(2)
    c.start()
    time.sleep(2)

输出结果：

(producer ) Putting 2 : 1 items in queue
(producer ) Putting 10 : 2 items in queue
(producer ) Putting 6 : 3 items in queue
(producer ) Putting 7 : 4 items in queue
(producer ) Putting 1 : 5 items in queue
(consumer ) Getting 2 : 4 items in queue
(consumer ) Getting 10 : 3 items in queue
(producer ) Putting 1 : 4 items in queue
(producer ) Putting 8 : 5 items in queue
(consumer ) Getting 6 : 4 items in queue
(producer ) Putting 10 : 5 items in queue
...

1、队列包含了Condition，其中Condition有锁，所以我们不需要关心队列Condition和锁。

2、生产者调用Queue.put(item[, block[, timeout]])方法往队列里插数据，在生产者插入数据前，它需要获取锁。其中参数block如果为true，而timeout默认为None，那么生产者会一直阻塞知道有释放的槽。如果timeout是一个正数，那么生产者会等到timeout 设定的秒后，如果还没有获取到锁，那么会抛出一个FullException。

3、put()函数也会检查队列是否满了，如果满的话，它会内部调用wait方法，这样生产者就开始等待。

4、消费者调用Queue.get([block[, timeout]])，在执行删除数据前，它也需要获取锁。如果队列是空的，那么消费者进入等待状态。