python -- 异步IO 协程

时间：2020-12-04 17:30:05

python 3.4

>>> import asyncio

>>> from datetime import datetime

>>> @asyncio.coroutine

... def baby(num):

...     print('baby {} sleep at {}'.format(num,datetime.now().timestamp()))

...     r = yield from asyncio.sleep(1)

...     print(r,'--',datetime.now().timestamp())

...     print('baby {} wake up at {}'.format(num,datetime.now().timestamp()))

...

>>> # 获取异步时间循环

... loop = asyncio.get_event_loop()

>>> # 定义一个任务列表

... tasklist = [baby(1),baby(2),baby(3)]

>>> # 开启协程

... loop.run_until_complete(asyncio.wait(tasklist))

baby 2 sleep at 1531723171.664242

baby 1 sleep at 1531723171.664458

baby 3 sleep at 1531723171.664564

None -- 1531723172.67095

baby 2 wake up at 1531723172.671148

None -- 1531723172.671252

baby 1 wake up at 1531723172.671377

None -- 1531723172.671462

baby 3 wake up at 1531723172.671585

python 3.5

用asyncio提供的@asyncio.coroutine可以把一个generator标记为coroutine类型，然后在coroutine内部用yield from调用另一个coroutine实现异步操作。

为了简化并更好地标识异步IO，从Python 3.5开始引入了新的语法async和await，可以让coroutine的代码更简洁易读。

请注意，async和await是针对coroutine的新语法，要使用新的语法，只需要做两步简单的替换：

把@asyncio.coroutine替换为async；

把yield from替换为await。

import asyncio

from datetime import datetime

from threading import current_thread

async def baby(num):

    print('baby {} sleep at {} with thread name ({})'.format(num,datetime.now().timestamp(),current_thread().name))

    r = await asyncio.sleep(2)

    print('baby {} wake up at {} with thread name ({})'.format(num,datetime.now().timestamp(),current_thread().name))

loop = asyncio.get_event_loop()

tasklist = [baby(1),baby(2),baby(3)]

loop.run_until_complete(asyncio.wait(tasklist))


# 编写一个HTTP服务器，分别处理以下URL：

# / - 首页返回b'<h1>Index</h1>'；

# /hello/{name} - 根据URL参数返回文本hello, %s!。

import asyncio

from aiohttp import web

async def index(request):

    await asyncio.sleep(0.5)

    return web.Response(body='<h1>Index</h1>'.encode(), content_type='text/html')

async def hello(request):

    await asyncio.sleep(0.5)

    text = '<h1>hello, %s!</h1>' % request.match_info['name']

    return web.Response(body=text.encode('utf-8'))

async def init(loop):

    app = web.Application(loop=loop)

    app.router.add_route('GET', '/', index)

    app.router.add_route('GET', '/hello/{name}', hello)

    srv = await loop.create_server(app.make_handler(), '192.168.0.16', 9000)

    print('Server started at http://192.168.0.16:9000...')

    return srv

loop = asyncio.get_event_loop()

loop.run_until_complete(init(loop))

loop.run_forever()

扩展知识

POSIX

同步IO、异步IO、阻塞IO、非阻塞IO，这几个词常见于各种各样的与网络相关的文章之中，往往不同上下文中它们的意思是不一样的，以致于我在很长一段时间对此感到困惑，所以想写一篇文章整理一下。

POSIX(可移植操作系统接口)把同步IO操作定义为导致进程阻塞直到IO完成的操作，反之则是异步IO

按POSIX的描述似乎把同步和阻塞划等号，异步和非阻塞划等号，但是为什么有的人说同步IO不等于阻塞IO呢？先来说说几种常见的IO模型吧。

IO模型

这里统一使用Linux下的系统调用recv作为例子，它用于从套接字上接收一个消息，因为是一个系统调用，所以调用时会从用户进程空间切换到内核空间运行一段时间再切换回来。默认情况下recv会等到网络数据到达并且复制到用户进程空间或者发生错误时返回，而第4个参数flags可以让它马上返回。

阻塞IO模型

使用recv的默认参数一直等数据直到拷贝到用户空间，这段时间内进程始终阻塞。A同学用杯子装水，打开水龙头装满水然后离开。这一过程就可以看成是使用了阻塞IO模型，因为如果水龙头没有水，他也要等到有水并装满杯子才能离开去做别的事情。很显然，这种IO模型是同步的。

image

非阻塞IO模型

改变flags，让recv不管有没有获取到数据都返回，如果没有数据那么一段时间后再调用recv看看，如此循环。B同学也用杯子装水，打开水龙头后发现没有水，它离开了，过一会他又拿着杯子来看看……在中间离开的这些时间里，B同学离开了装水现场(回到用户进程空间)，可以做他自己的事情。这就是非阻塞IO模型。但是它只有是检查无数据的时候是非阻塞的，在数据到达的时候依然要等待复制数据到用户空间(等着水将水杯装满)，因此它还是同步IO。

image

IO复用模型

这里在调用recv前先调用select或者poll，这2个系统调用都可以在内核准备好数据(网络数据到达内核)时告知用户进程，这个时候再调用recv一定是有数据的。因此这一过程中它是阻塞于select或poll，而没有阻塞于recv，有人将非阻塞IO定义成在读写操作时没有阻塞于系统调用的IO操作(不包括数据从内核复制到用户空间时的阻塞，因为这相对于网络IO来说确实很短暂)，如果按这样理解，这种IO模型也能称之为非阻塞IO模型，但是按POSIX来看，它也是同步IO，那么也和楼上一样称之为同步非阻塞IO吧。

这种IO模型比较特别，分个段。因为它能同时监听多个文件描述符(fd)。这个时候C同学来装水，发现有一排水龙头，舍管阿姨告诉他这些水龙头都还没有水，等有水了告诉他。于是等啊等(select调用中)，过了一会阿姨告诉他有水了，但不知道是哪个水龙头有水，自己看吧。于是C同学一个个打开，往杯子里装水(recv)。这里再顺便说说鼎鼎大名的epoll(高性能的代名词啊)，epoll也属于IO复用模型，主要区别在于舍管阿姨会告诉C同学哪几个水龙头有水了，不需要一个个打开看(当然还有其它区别)。

image

信号驱动IO模型

通过调用sigaction注册信号函数，等内核数据准备好的时候系统中断当前程序，执行信号函数(在这里面调用recv)。D同学让舍管阿姨等有水的时候通知他(注册信号函数)，没多久D同学得知有水了，跑去装水。是不是很像异步IO？很遗憾，它还是同步IO(省不了装水的时间啊)。

image

异步IO模型

调用aio_read，让内核等数据准备好，并且复制到用户进程空间后执行事先指定好的函数。E同学让舍管阿姨将杯子装满水后通知他。整个过程E同学都可以做别的事情(没有recv)，这才是真正的异步IO。

image

总结

IO分两阶段：

1.数据准备阶段

2.内核空间复制回用户进程缓冲区阶段

一般来讲：阻塞IO模型、非阻塞IO模型、IO复用模型(select/poll/epoll)、信号驱动IO模型都属于同步IO，因为阶段2是阻塞的(尽管时间很短)。只有异步IO模型是符合POSIX异步IO操作含义的，不管在阶段1还是阶段2都可以干别的事。

ps：以上图片均截自UNIX网络编程卷1。

相关文章