python--gevent协程及协程概念

时间：2021-07-30 06:44:22

何为协程　

　　协程，又称微线程。英文名Coroutine。

　　协程最大的优势就是协程极高的执行效率。因为子程序切换不是线程切换，而是由程序自身控制，因此，没有线程切换的开销，和多线程比，线程数量越多，协程的性能优势就越明显。

　　第二大优势就是不需要多线程的锁机制，因为只有一个线程，也不存在同时写变量冲突，在协程中控制共享资源不加锁，只需要判断状态就好了，所以执行效率比多线程高很多。

　　因为协程是一个线程执行，那怎么利用多核CPU呢？最简单的方法是多进程+协程，既充分利用多核，又充分发挥协程的高效率，可获得极高的性能。后续会就这一块单独开写一篇协程+多进程的测试文章。

　　Python对协程的支持还非常有限，用在generator中的yield可以一定程度上实现协程。虽然支持不完全，但已经可以发挥相当大的威力了。

例子：

　　传统的生产者-消费者模型是一个线程写消息，一个线程取消息，通过锁机制控制队列和等待，但一不小心就可能死锁。

　　如果改用协程，生产者生产消息后，直接通过yield跳转到消费者开始执行，待消费者执行完毕后，切换回生产者继续生产，效率极高：

import time

def consumer():

    r = ''

    while True:

        n = yield r

        if not n:

            return

        print('[CONSUMER] Consuming %s...' % n)

        time.sleep(1)

        r = '200 OK'

def produce(c):

    c.next()

    n = 0

    while n < 5:

        n = n + 1

        print('[PRODUCER] Producing %s...' % n)

        r = c.send(n)

        print('[PRODUCER] Consumer return: %s' % r)

    c.close()

if __name__=='__main__':

    c = consumer()

    produce(c)

　　运行结果

[PRODUCER] Producing 1...

[CONSUMER] Consuming 1...

[PRODUCER] Consumer return: 200 OK

[PRODUCER] Producing 2...

[CONSUMER] Consuming 2...

[PRODUCER] Consumer return: 200 OK

[PRODUCER] Producing 3...

[CONSUMER] Consuming 3...

[PRODUCER] Consumer return: 200 OK

[PRODUCER] Producing 4...

[CONSUMER] Consuming 4...

[PRODUCER] Consumer return: 200 OK

[PRODUCER] Producing 5...

[CONSUMER] Consuming 5...

[PRODUCER] Consumer return: 200 OK

　　

注意到consumer函数是一个generator（生成器），把一个consumer传入produce后：

  1. 首先调用c.next()启动生成器；

  2. 然后，一旦生产了东西，通过c.send(n)切换到consumer执行；

  3. consumer通过yield拿到消息，处理，又通过yield把结果传回；

  4. produce拿到consumer处理的结果，继续生产下一条消息；

  5. produce决定不生产了，通过c.close()关闭consumer，整个过程结束。

整个流程无锁，由一个线程执行，produce和consumer协作完成任务，所以称为“协程”，而非线程的抢占式多任务。

gevent模块

　　

　　Python通过yield提供了对协程的基本支持，但是不完全。而第三方的gevent为Python提供了比较完善的协程支持。

　　gevent是第三方库，通过greenlet实现协程，其基本思想是：

　　当一个greenlet遇到IO操作时，比如访问网络，就自动切换到其他的greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。由于IO操作非常耗时，经常使程序处于等待状态，有了gevent为我们自动切换协程，就保证总有greenlet在运行，而不是等待IO。

　　由于切换是在IO操作时自动完成，所以gevent需要修改Python自带的一些标准库，这一过程在启动时通过monkey patch完成：

import gevent

def f(n):

    for i in range(n):

        print gevent.getcurrent(), i

g1 = gevent.spawn(f, 5)

g2 = gevent.spawn(f, 5)

g3 = gevent.spawn(f, 5)

g1.join()

g2.join()

g3.join()

　
<Greenlet at 0x10e49f550: f()>

<Greenlet at 0x10e49f550: f()>

<Greenlet at 0x10e49f550: f()>

<Greenlet at 0x10e49f550: f()>

<Greenlet at 0x10e49f550: f()>

<Greenlet at 0x10e49f910: f()>

<Greenlet at 0x10e49f910: f()>

<Greenlet at 0x10e49f910: f()>

<Greenlet at 0x10e49f910: f()>

<Greenlet at 0x10e49f910: f()>

<Greenlet at 0x10e49f4b0: f()>

<Greenlet at 0x10e49f4b0: f()>

<Greenlet at 0x10e49f4b0: f()>

<Greenlet at 0x10e49f4b0: f()>

<Greenlet at 0x10e49f4b0: f()>

运行结果

可以看到，3个greenlet是依次运行而不是交替运行。

要让greenlet交替运行，可以通过gevent.sleep()交出控制权：

import gevent

def f(n):

    for i in range(n):

        print gevent.getcurrent(), i

g1 = gevent.spawn(f, 5)

g2 = gevent.spawn(f, 5)

g3 = gevent.spawn(f, 5)

g1.join()

g2.join()

g3.join()　
<Greenlet at 0x10e49f550: f()>

<Greenlet at 0x10e49f550: f()>

<Greenlet at 0x10e49f550: f()>

<Greenlet at 0x10e49f550: f()>

<Greenlet at 0x10e49f550: f()>

<Greenlet at 0x10e49f910: f()>

<Greenlet at 0x10e49f910: f()>

<Greenlet at 0x10e49f910: f()>

<Greenlet at 0x10e49f910: f()>

<Greenlet at 0x10e49f910: f()>

<Greenlet at 0x10e49f4b0: f()>

<Greenlet at 0x10e49f4b0: f()>

<Greenlet at 0x10e49f4b0: f()>

<Greenlet at 0x10e49f4b0: f()>

<Greenlet at 0x10e49f4b0: f()>

运行结果

3个greenlet交替运行，

把循环次数改为500000，让它们的运行时间长一点，然后在操作系统的进程管理器中看，线程数只有1个。

当然，实际代码里，我们不会用gevent.sleep()去切换协程，而是在执行到IO操作时，gevent自动切换，代码如下：

from gevent import monkey; monkey.patch_all()#有IO才做时需要这一句

import gevent

import urllib2

def f(url):

    print('GET: %s' % url)

    resp = urllib2.urlopen(url)

    data = resp.read()

    print('%d bytes received from %s.' % (len(data), url))

gevent.joinall([

        gevent.spawn(f, 'https://www.python.org/'),

        gevent.spawn(f, 'https://www.yahoo.com/'),

        gevent.spawn(f, 'https://github.com/'),

])　
GET: https://www.python.org/

GET: https://www.yahoo.com/

GET: https://github.com/

 bytes received from https://www.python.org/.

 bytes received from https://github.com/.

 bytes received from https://www.yahoo.com/.

运行结果

从结果看，3个网络操作是并发执行的，而且结束顺序不同，但只有一个线程。

小结

使用gevent，可以获得极高的并发性能，但gevent只能在Unix/Linux下运行，在Windows下不保证正常安装和运行，在windows下需要安装第三方编译好的包，或者自行编译。

参考文章：

　　http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001407503089986d175822da68d4d6685fbe849a0e0ca35000

相关文章