Python网络编程(4)——异步编程select & epoll

时间:2022-10-06 02:23:26

  在SocketServer模块的学习中,我们了解了多线程和多进程简单Server的实现,使用多线程、多进程技术的服务端为每一个新的client连接创建一个新的进/线程,当client数量较多时,这种技术也将带来巨大的开销,服务器的内存毕竟是有限的,而客户的量级可能非常庞大,因此为每个客户端连接创建单独的进/线程可能并不实际。

  另一种提升服务器性能的网络编程模式是事件驱动的(异步)编程,这里所说的“事件”通常是指:客户端连接到来、套接字有可读数据、套接字可写等。服务器时刻处在一个时刻等待这些事件的循环中,一旦这些常见的某类事件发生,服务端分别进行一定的响应,然后继续等待下一个事件的发生。

  Python 对事件驱动的网络编程提供的支持包括:

    select 模块 —— 低层次 select, epoll 等异步编程机制;

    asyncore, asynchat 模块 —— 高层次的异步编程机制,在Python 3中合并为 asyncio 模块;

    Twisted 框架 —— Twisted 是一个功能强大的Python事件驱动编程框架。

  本文将会学习 select 模块提供的 select、epoll 机制。

Select 编程

  select 的中文含义是”选择“,select机制也如其名,监听一些 server 关心的套接字、文件等对象,关注他们是否可读、可写、发生异常等事件。一旦出现某个 select 关注的事件,select 会对相应的套接字或文件进行特定的处理,这就是 select 机制最主要的功能。

  select 机制可以只使用一个进程/线程来处理多个 socket 或其他对象,因此又被称为I/O复用。

  关于 select 机制的进程阻塞形式,与普通的套接字略有不同。socket 对象可能阻塞在 accept(), recvfrom()等方法上,以 recvfrom() 方法为例,当执行到 socket.recvfrom() 这一句时,就会调用一个系统调用询问内核:client / server 发来的数据包准备好了没?此时从进程空间切換到内核地址空间,内核可能需要等数据包完全到达,然后将数据复制到程序的地址空间后,recvfrom() 才会返回,接下来进程继续执行,对读取到的数据进行必要的处理。

  而使用 select 函数编程时,同样针对上面的 recvfrom() 方法,进程会阻塞在 select() 调用上,等待出现一个或多个套接字对象满足可读事件,当内核将数据准备好后,select() 返回某个套接字对象可读这一条件,随后再调用 recvfrom() 将数据包从内核复制到进程地址空间。

  所以可见,如果仅仅从单个套接字的处理来看,select() 反倒性能更低,因为 select 机制使用两个系统调用。但 select 机制的优势就在于它可以同时等待多个 fd 就绪,而当某个 fd 发生满足我们关心的事件时,就对它执行特定的操作。

  调用 select 模块提供的 select 函数可以实现 Select 编程:

select(inputs, outputs, excepts, timeout=None)

  参数说明:

  inputs, outputs, excepts 是分别由等待输入事件、输出事件和异常条件的 socket 对象组成的列表;

  timeout——数字或者None,上一篇文章中已经介绍过 Python套接字对象的超时行为,这里select与套接字的超时行为类似:如果 timeout 是 None,则 select 在阻塞调用上会一直等待直到事件发生;如果 timeout 是一个非 0 数字,则 select 最多等待 timeout 秒;如果 timeout 是0,则 select 遇到阻塞的调用时会立即返回,一刻也不等待。

  返回值:

  select() 返回一个 (i, o, e) 形式的三元组,其中i, o, e 分别都是列表,列表 i 中的每个元素都收到了 input 事件,列表 o 中的每个元素都收到了 output 事件,列表 e 中的每个元素则发生了异常。

  

  Select 编程的特点是 select() 参数中的 inputs, outputs, excepts 可以不止 socket 对象,而只要是支持无参数调用 fileno() 方法,返回相应 fd 的对象均可,比如 SocketServer 模块中提供的几种 server 类型就支持这一方法,所以在 select() 参数的某个列表中,就可以包含这些 Server 类型的实例。在 Unix 平台上,select 机制也支持并不对应于 socket 对象的文件描述字。

例:

  使用 select 网络编程模型实现一个简单的回显服务器

#!-*-encoding:utf-8-*-
import socket
import select sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.bind(('127.0.0.1', 4424))
sock.listen(10) ins = [sock, ]
ous = []
# socket -> data to send
data = {}
# socket -> client address, which is (host, port) tuple
adrs = {} try:
print("Select Server Start Working!")
while True:
i, o, e = select.select(ins, ous, [])
for x in i: # 处理发生 input 事件的套接字
if x is sock:
# 监听套接字上发生input事件,说明有新的连接
newSock, addr = sock.accept()
print("Connected from: ", addr)
ins.append(newSock)
adrs[newSock] = addr
else:
# 连接套接字上发生 input 事件说明有数据可读,或者是client端断开连接
newData = x.recv(1024)
if newData:
# 有新的数据到来,此时将发给该 client 的响应入队
print("%d bytes from %s" %(len(newData), adrs[x]))
data[x] = data.get(x, "") + newData
if x not in ous:
ous.append(x)
else:
# 连接套接字上发生 input 事件,如果不是有新数据可读,说明是client断开连接
print("Disconnected from: ", adrs[x])
del adrs[x]
try:
ous.remove(x)
except ValueError: pass
x.close()
ins.remove(x)
for x in o: # 处理发生 output 事件的套接字
# 有 output 事件,说明此时可写
tosend = data.get(x)
if tosend:
nsent = x.send(tosend)
print("%d bytes to %s" %(nsent, adrs[x]))
tosend = tosend[nsent:]
if tosend:
print("%d bytes remain for %s" %(len(tosend), adrs[x]))
data[x] = tosend
else:
try:
del data[x]
except KeyError:
pass
ous.remove(x)
print("No data currently remain for:", adrs[x])
finally:
sock.close()