Python poll IO多路复用

时间:2022-09-13 23:32:06

一、poll介绍

poll本质上和select没有区别,只是没有了最大连接数(linux上默认1024个)的限制,原因是它基于链表存储的。

本人的另一篇博客讲了 python  select : https://www.cnblogs.com/weihengblog/p/9830253.html

二、使用poll编写SocketServer(本博客代码需要在linux下运行)

首先我们建立一个服务器端的socket

import select
import socket
import sys
import queue
from queue import Queue # 创建一个socket连接
server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server.setblocking(False) # 绑定IP地址和端口号
server_address = ('localhost', 8800)
server.bind(server_address)
print("服务器已启动http://localhost:8800/") # 监听连接数
server.listen(5) # 消息队列 用于记录客户端发来的消息
message_queues = {}

设置轮询的超时时间

如果不设置timeout,方法将会阻塞直到对应的poll对象有一个事件发生。

TIMEOUT = 1000 # 设置为1秒

poll的事件类型

POLLIN    Input ready                  有数据读取
POLLPRI Priority input ready 有紧急数据读取
POLLOUT Able to receive output 准备输出
POLLERR Error 某些错误
POLLHUP Channel closed 挂起
POLLNVAL Channel not open 无效请求,描述符无法打开
READ_ONLY = select.POLLIN | select.POLLPRI | select.POLLHUP | select.POLLERR
READ_WRITE = READ_ONLY | select.POLLOUT

注册要监听文件描述符

首先需要实例化一个poll对象,对要监听的句柄进行注册

poller = select.poll()
# 注册server端socket 要监听的事件类型为 读
poller.register(server, READ_ONLY)

文件描述符映射具体的套接字对象

"""
由于poll()返回包含套接字文件描述符和事件标志的元组列表,因此需要从文件描述符号到对象的映射才能从套接字中读取或写入该套接字。
"""
fd_to_socket = { server.fileno(): server,}

事件轮询

while True:

    """
去检测已经注册的文件描述符,会返回一个(fd,event)元祖列表
fd:文件描述符
event:描述符可能会发生的事件
如果返回为空的列表,则说明超时且没有文件描述符有事件发生
"""
events = poller.poll(TIMEOUT) # 如果timeout为None,将会阻塞,知道有事件发生
for fd, flag in events:
# 从文件描述符中检索实际的套接字
s = fd_to_socket[fd]

事件类型判断

        if flag & (select.POLLIN | select.POLLPRI): # 有数据可以读取

            if s is server: # 表示有新的连接
# 可以读取数据
connection, client_address = s.accept()
print(sys.stderr, '新的连接来自:', client_address)
connection.setblocking(0)
fd_to_socket[connection.fileno()] = connection # 往fd字典中添加一个新的 文件描述符
poller.register(connection, READ_ONLY) message_queues[connection] = Queue() # 为了防止等待客户端发来数据期间发生阻塞,分配一个队列用于保存数据
else: # 表示客户端传来了消息 data = s.recv(1024)
if data: # 表明数据接受成功 print(sys.stderr, '接受数据 "%s" 来自 %s' % (data, s.getpeername()))
message_queues[s].put(data)
# 修改一个已经存在的fd,修改事件为写。这里表示服务器向客户端要发送数据
poller.modify(s, READ_WRITE)
else:
# 如果没有接受到数据,表示要断开连接
print(sys.stderr, '关闭', client_address, '并未读取到数据')
# 停止监听连接上的输入
poller.unregister(s)
s.close() # 将此链接从队列中删除
del message_queues[s] elif flag & select.POLLHUP:
print(sys.stderr, '关闭', client_address, '收到HUP后')
poller.unregister(s)
s.close() elif flag & select.POLLOUT:
try:
next_msg = message_queues[s].get_nowait()
except queue.Empty:
print(sys.stderr, '队列', s.getpeername(), '为空')
poller.modify(s, READ_ONLY)
else:
print(sys.stderr, '发送 "%s" 到 %s' % (next_msg, s.getpeername()))
s.send(next_msg) elif flag & select.POLLERR:
print(sys.stderr, '异常信息:', s.getpeername())
poller.unregister(s)
s.close()
del message_queues[s]

三、完整代码示例

server端:

import select
import socket
import sys
import queue
from queue import Queue # 创建一个socket连接
server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server.setblocking(False) # 绑定IP地址和端口号
server_address = ('localhost', 8800)
server.bind(server_address)
print("服务器已启动http://localhost:8800/") # 监听连接数
server.listen(5) # 消息队列
message_queues = {} """
POLLIN Input ready 有数据读取
POLLPRI Priority input ready 有紧急数据读取
POLLOUT Able to receive output 准备输出
POLLERR Error 某些错误
POLLHUP Channel closed 挂起
POLLNVAL Channel not open 无效请求,描述符无法打开
"""
# 常用的标识 代表你想检查的事件类型
READ_ONLY = select.POLLIN | select.POLLPRI | select.POLLHUP | select.POLLERR
READ_WRITE = READ_ONLY | select.POLLOUT TIMEOUT = 1000
poller = select.poll() # 创建一个poll对象,该对象可以注册或注销文件描述符 # 注册一个文件描述符,可以通过poll()方法来检查是否有对应的IO事件发生
# 接受两个参数, fd 和 eventmask
poller.register(server,READ_ONLY)
fd_to_socket = { server.fileno(): server,}
# 服务器的循环调用poll(),然后通过查找套接字并根据事件中的标志采取行动来处理返回的“事件”。
while True: """
去检测已经注册的文件描述符,会返回一个(fd,event)元祖列表
fd:文件描述符
event:描述符可能会发生的事件
如果返回为空的列表,则说明超时且没有文件描述符有事件发生
"""
events = poller.poll(TIMEOUT) # 如果timeout为None,将会阻塞,知道有事件发生
for fd, flag in events:
# 从文件描述符中检索实际的套接字
s = fd_to_socket[fd] if flag & (select.POLLIN | select.POLLPRI): # 有数据可以读取 if s is server: # 表示有新的连接
# 可以读取数据
connection, client_address = s.accept()
print(sys.stderr, '新的连接来自:', client_address)
connection.setblocking(0)
fd_to_socket[connection.fileno()] = connection # 往fd字典中添加一个新的 文件描述符
poller.register(connection, READ_ONLY) message_queues[connection] = Queue() # 为了防止等待客户端发来数据期间发生阻塞,分配一个队列用于保存数据
else: # 表示客户端传来了消息 data = s.recv(1024)
if data: # 表明数据接受成功 print(sys.stderr, '接受数据 "%s" 来自 %s' % (data, s.getpeername()))
message_queues[s].put(data)
# 修改一个已经存在的fd,修改事件为写。这里表示服务器向客户端要发送数据
poller.modify(s, READ_WRITE)
else:
# 如果没有接受到数据,表示要断开连接
print(sys.stderr, '关闭', client_address, '并未读取到数据')
# 停止监听连接上的输入
poller.unregister(s)
s.close() # 将此链接从队列中删除
del message_queues[s] elif flag & select.POLLHUP:
print(sys.stderr, '关闭', client_address, '收到HUP后')
poller.unregister(s)
s.close() elif flag & select.POLLOUT:
try:
next_msg = message_queues[s].get_nowait()
except queue.Empty:
print(sys.stderr, '队列', s.getpeername(), '为空')
poller.modify(s, READ_ONLY)
else:
print(sys.stderr, '发送 "%s" 到 %s' % (next_msg, s.getpeername()))
s.send(next_msg) elif flag & select.POLLERR:
print(sys.stderr, '异常信息:', s.getpeername())
poller.unregister(s)
s.close()
del message_queues[s]

client端:

import socket

client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
client.connect(('localhost',8800)) while True:
msg = bytes(input("<<<"),encoding='utf-8')
client.sendall(msg) data = client.recv(1024) print("{}".format(data))

Python poll IO多路复用的更多相关文章

  1. &lbrace;python之IO多路复用&rcub; IO模型介绍 阻塞IO&lpar;blocking IO&rpar; 非阻塞IO&lpar;non-blocking IO&rpar; 多路复用IO&lpar;IO multiplexing&rpar; 异步IO&lpar;Asynchronous I&sol;O&rpar; IO模型比较分析 selectors模块

    python之IO多路复用 阅读目录 一 IO模型介绍 二 阻塞IO(blocking IO) 三 非阻塞IO(non-blocking IO) 四 多路复用IO(IO multiplexing) 五 ...

  2. 【python】-- IO多路复用(select、poll、epoll)介绍及实现

    IO多路复用(select.poll.epoll)介绍及select.epoll的实现 IO多路复用中包括 select.pool.epoll,这些都属于同步,还不属于异步 一.IO多路复用介绍 1. ...

  3. python之IO多路复用

    在python的网络编程里,socetserver是个重要的内置模块,其在内部其实就是利用了I/O多路复用.多线程和多进程技术,实现了并发通信.与多进程和多线程相比,I/O多路复用的系统开销小,系统不 ...

  4. python中IO多路复用、协程

    一.IO多路复用 IO多路复用:检测多个socket是否已经发生变化(是否已经连接成功/是否已经获取数据)(可读/可写) import socket def get_data(key): client ...

  5. 09 Python之IO多路复用

    四种常见IO模型 阻塞IO(blocking IO).非阻塞IO(nonblocking IO).IO多路复用(IOmultiplexing).异步IO(asynchronous IO) IO发生时涉 ...

  6. Python select IO多路复用

    一.select介绍 Python的select()函数是底层操作系统实现的直接接口.它监视套接字,打开文件和管道(任何带有返回有效文件描述符的fileno()方法),直到它们变得可读或可写,或者发生 ...

  7. Python进程、线程、协程及IO多路复用

    详情戳击下方链接 Python之进程.线程.协程 python之IO多路复用

  8. 网络编程基础【day10】:IO多路复用

    这些名词比较绕口,理解涵义就好.一个epoll场景:一个酒吧服务员(一个线程),前面趴了一群醉汉,突然一个吼一声“倒酒”(事件),你小跑过去给他倒一杯,然后随他去吧,突然又一个要倒酒,你又过去倒上,就 ...

  9. 《Linux&sol;UNIX系统编程手册》第63章 IO多路复用、信号驱动IO以及epoll

    关键词:fasync_helper.kill_async.sigsuspend.sigaction.fcntl.F_SETOWN_EX.F_SETSIG.select().poll().poll_wa ...

随机推荐

  1. hdu 3695&colon;Computer Virus on Planet Pandora(AC自动机,入门题)

    Computer Virus on Planet Pandora Time Limit: 6000/2000 MS (Java/Others)    Memory Limit: 256000/1280 ...

  2. Hadoop第1~2周练习—Hadoop1&period;X和2&period;X安装

        练习题目     Hadoop1.X安装 2.1    准备工作 2.1.1   硬软件环境 2.1.2   集群网络环境 2.1.3   安装使用工具 2.2  环境搭建 2.2.1   安 ...

  3. POJ1845Sumdiv(求所有因子和 &plus; 唯一分解定理)

    Sumdiv Time Limit: 1000MS   Memory Limit: 30000K Total Submissions: 17387   Accepted: 4374 Descripti ...

  4. BZOJ 3997 TJOI2015 组合数学

    分析一下样例就可以知道,求的实际上是从左下角到右上角的最长路 因为对于任意不在这个最长路的上的点,都可以通过经过最长路上的点的路径将这个点的价值减光 (可以用反证法证明) 之后就是一个非常NOIP的D ...

  5. ASP&period;NET MVC:通过 FileResult 向 浏览器 发送文件

    在 Controller 中我们可以使用 FileResult 向客户端发送文件. FileResult FileResult 是一个抽象类,继承自 ActionResult.在 System.Web ...

  6. &lbrack;BZOJ 3052&rsqb; &lbrack;wc2013&rsqb; 糖果公园 【树上莫队】

    题目链接:BZOJ - 3052 题目分析 这道题就是非常经典的树上莫队了,并且是带修改的莫队. 带修改的莫队:将询问按照 左端点所在的块编号为第一关键字,右端点所在的块为第二关键字,位于第几次修改之 ...

  7. hdu5514 非2的次幂容斥原理

    /* 1 126 223092870 210 330 390 462 510 546 570 690 714 770 798 858 910 966 1122 1155 1190 1254 1326 ...

  8. 系统学习DOM事件机制

    本文将从以下几个方面介绍DOM事件: 基本概念:DOM事件的级别 DOM事件模型,事件流 描述DOM事件捕获的具体流程 Event对象的常见应用 自定义事件 DOM事件的级别 //DOM0 eleme ...

  9. Java 的字节流文件读取(一)

    上篇文章我们介绍了抽象化磁盘文件的 File 类型,它仅仅用于抽象化描述一个磁盘文件或目录,却不具备访问和修改一个文件内容的能力. Java 的 IO 流就是用于读写文件内容的一种设计,它能完成将磁盘 ...

  10. &lbrack;转&rsqb;SQL中 OVER&lpar;PARTITION BY&rpar; 取上一条,下一条等

    OVER(PARTITION BY)函数介绍 开窗函数               Oracle从8.1.6开始提供分析函数,分析函数用于计算基于组的某种聚合值,它和聚合函数的不同之处是:对于每个组返 ...