select epoll poll

时间：2023-03-09 19:04:44
select epoll poll

如何理解 Epoll select 和 poll 三种模型，能否用生活中的例子做比喻?

比如说你从某宝下单买了几个东西，这几个东西分别由N个快递员分别给你送过来。在某一时刻，你开始等快递。
对于select/poll，就是你在睡觉的时候，收到一条短信“你有快递到了，取一下”，但不知道发送方是谁（但一定是那N个快递员中的某人/某几个人给你发的），所以你必须挨个给那N个快递员分别打个电话，问他们，是不是我的快递已经到了。
至于select/poll的区别，类似于你和快递员都分别有两个手机号，一个移动，一个联通，其区别就在于你用哪个手机号给他们打的问题。
对于epoll，是你收到那条短信的时候，看到了发送方的电话号码，你就可以直接给他打电话，问他在哪儿，你好去去快递。

作者：starsnow1982
链接：https://www.zhihu.com/question/21233763/answer/25314598
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

还是收快递，select/poll/epoll分别对应快递公司A/B/C，映射关系如下:

差别如下:

  1. A公司可以转运的快递比较少，BC公司可以运送的快递多(差异点：支持最大文件描述符区别)
  2. AB公司如果你一次快递没拿完，下次还是会告诉你有快递; C公司告诉你有快递，不管你拿不拿走，下次都不会告诉你了(差异点： select/poll只支持LT工作模式，epoll支持ET以提高效率)
  3. AB公司快递到了之后，得自己去问所有的快递员快递在谁那呢，C公司直接告诉你（差异点： select/poll 采用轮询来检查就绪事件，后者采用回调方式，结果是前者索引事件复杂度是O(n), 后者是O(1)）
  4. 在AB公司取完抵达的快递之后，需要把已经买过的货还再告诉他们一遍; 后者，只要是快递没有到，随意对快递进行增删改操作，且告诉他们一遍就够了(差异点: 前者在内核返回就绪事件的时候操作了共同的数据结构，后者则不然，注册/等待事件接口都是分离的)

当然，100%映射生活例子是不可能的，比如上面的映射关系实际上没有严格区分事件和文件描述符，这两者实际上在各个接口中的表现也不太一样，只是不太好映射了.

作者：Ender
链接：https://www.zhihu.com/question/21233763/answer/359650461
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

下面引用知乎一书焚城的回答再次巩固一下IO模型

  1. 阻塞IO, 给女神发一条短信, 说我来找你了, 然后就默默的一直等着女神下楼, 这个期间除了等待你不会做其他事情, 属于备胎做法.
  1. 非阻塞IO, 给女神发短信, 如果不回, 接着再发, 一直发到女神下楼, 这个期间你除了发短信等待不会做其他事情, 属于专一做法.
  1. IO多路复用, 是找一个宿管大妈来帮你监视下楼的女生, 这个期间你可以些其他的事情. 例如可以顺便看看其他妹子,玩玩王者荣耀, 上个厕所等等. IO复用又包括 select, poll, epoll 模式. 那么它们的区别是什么?
    3.1 select大妈 每一个女生下楼, select大妈都不知道这个是不是你的女神, 她需要一个一个询问, 并且select大妈能力还有限, 最多一次帮你监视1024个妹子
    3.2 poll大妈不限制盯着女生的数量, 只要是经过宿舍楼门口的女生, 都会帮你去问是不是你女神
    3.3 epoll大妈不限制盯着女生的数量, 并且也不需要一个一个去问. 那么如何做呢? epoll大妈会为每个进宿舍楼的女生脸上贴上一个大字条,上面写上女生自己的名字, 只要女生下楼了, epoll大妈就知道这个是不是你女神了, 然后大妈再通知你.

上面这些同步IO有一个共同点就是, 当女神走出宿舍门口的时候, 你已经站在宿舍门口等着女神的, 此时你属于阻塞状态

接下来是异步IO的情况
你告诉女神我来了, 然后你就去王者荣耀了, 一直到女神下楼了, 发现找不见你了, 女神再给你打电话通知你, 说我下楼了, 你在哪呢? 这时候你才来到宿舍门口. 此时属于逆袭做法

首先引用levin的回答让我们理清楚五种IO模型

1.阻塞I/O模型
老李去火车站买票，排队三天买到一张退票。
耗费：在车站吃喝拉撒睡 3天，其他事一件没干。

2.非阻塞I/O模型
老李去火车站买票，隔12小时去火车站问有没有退票，三天后买到一张票。耗费：往返车站6次，路上6小时，其他时间做了好多事。

3.I/O复用模型
1.select/poll
老李去火车站买票，委托黄牛，然后每隔6小时电话黄牛询问，黄牛三天内买到票，然后老李去火车站交钱领票。
耗费：往返车站2次，路上2小时，黄牛手续费100元，打电话17次
2.epoll
老李去火车站买票，委托黄牛，黄牛买到后即通知老李去领，然后老李去火车站交钱领票。
耗费：往返车站2次，路上2小时，黄牛手续费100元，无需打电话

4.信号驱动I/O模型
老李去火车站买票，给售票员留下电话，有票后，售票员电话通知老李，然后老李去火车

5.异步I/O模型
老李去火车站买票，给售票员留下电话，有票后，售票员电话通知老李并快递送票上门。
耗费：往返车站1次，路上1小时，免黄牛费100元，无需打电话

站交钱领票。
耗费：往返车站2次，路上2小时，免黄牛费100元，无需打电话

1同2的区别是：自己轮询

2同3的区别是：委托黄牛

3同4的区别是：电话代替黄牛

4同5的区别是：电话通知是自取还是送票上门

理解 I/O-- 阻塞、非阻塞，同步、异步的概念及其区别

概念介绍

阻塞(blocking)、非阻塞（non-blocking）：可以简单理解为需要做一件事能不能立即得到返回应答，如果不能立即获得返回，需要等待，

那就阻塞了(进程或线程就阻塞在那了，不能做其它事情)，否则就可以理解为非阻塞(在等待的过程中可以做其它事情)。

同步(synchronous)、异步(asynchronous)： 你总是做完一件再去做另一件，不管是否需要时间等待，这就是同步(就是在发出一个功能

调用时，在没有得到结果之前，该调用就不返回,即此时不能做下一件事情)；异步则反之，你可以同时做几件事，并非一定需要一件事做

完再做另一件事(当一个异步过程调用发出后，调用者不能立刻得到结果,此时可以接着做其它事情)。同步简单理解成一问一答同步进行，

异步可以简单理解为不必等一个问题有了答案再去问另一个问题，尽管问，有答了再通知你。

阻塞和同步：

有人会把阻塞调用和同步调用等同起来，实际上他是不同的。对于同步调用来说，很多时候当前线程还是激活的，只是从逻辑上当前函数

没有返回而已。 例如，我们在socket中调用recv函数，如果缓冲区中没有数据，这个函数就会一直等待，直到有数据才返回。而此时，当

前线程还会继续处理各种各样的消息。

IO模型

针对网络IO的操作，可以分成两个阶段，准备阶段和操作阶段。

1,准备阶段是判断是否能够操作(即等待数据是否可用)，在内核进程完成的；

2,操作阶段则执行实际的IO调用，数据从内核缓冲区拷贝到用户进程缓冲区。

比如对于一个read操作发生时,它会经历下面两个阶段:

A, 等待数据准备,数据是否拷贝到内核缓冲区;

B, 将数据从内核拷贝到用户进程空间

上面两点比较重要，注意理解。

《Unix网络编程卷1：套接字联网API》（即UNP）中第六章对unix 系统将IO模型分为五类：阻塞IO，非阻塞IO，IO复用，信号驱动，异步IO。

1、阻塞IO：在准备阶段即同步阻塞，应用进程调用I/O操作时阻塞，只有等待要操作的数据准备好，并复制到应用进程的缓冲区中才返回；

2、非阻塞IO：当应用进程要调用的I/O操作会导致该进程进入阻塞状态时，该I/O调用返回一个错误，一般情况下，应用进程需要利用轮询的方式

来检测某个操作是否就绪。数据就绪后，实际的I/O操作会等待数据复制到应用进程的缓冲区中以后才返回；

3、IO复用：多路IO共用一个同步阻塞接口，任意IO可操作都可激活IO操作，这是对阻塞IO的改进(主要是select和poll、epoll,关键是能实现同时对

多个IO端口进行监听)。此时阻塞发生在select/poll的系统调用上，而不是阻塞在实际的I/O系统调用上。IO多路复用的高级之处在于:它能同时等

待多个文件描述符，而这些文件描述符（套接字描述符）其中的任意一个进入读就绪状态，select等函数就可以返回。

4、信号驱动IO：注册一个IO信号事件，在数据可操作时通过SIGIO信号通知线程，这应该算是一种异步机制；

以上四种模型在第一阶段即判断是否可操作阶段各不相同，但一旦数据可操作，则切换到同步阻塞模式下执行IO操作，所以都算是同步IO。

5、异步IO: 应用进程通知内核开始一个异步I/O操作，并让内核在整个操作（包含将数据从内核复制到应该进程的缓冲区）完成后通知应用进程。

根据上面所说的IO操作的两个阶段，可以把上面的I/O模型进行如下归类:

a,阻塞IO:在两个阶段上面都是阻塞的;

b,非阻塞IO:在第1阶段，程序不断的轮询直到数据准备好，第2阶段还是阻塞的;

c,IO复用:在第1阶段，当一个或者多个IO准备就绪时，通知程序，第2阶段还是阻塞的，在第1阶段还是轮询实现的，只是所有的IO都集中在一个地方，这个地方进行轮询;

d,信号IO:当数据准备完毕的时候，信号通知程序数据准备完毕，第2阶段阻塞;

e,异步IO:1，2都不阻塞，异步IO模型 比如 windows之上的iocp,linux AIO,详情点这里;

结果如下图(图来自UNP)。

select epoll poll

阻塞式I/O模型、非阻塞式I/O模型、I/O复用模型,这三种模型的区别在于第一阶段（阻塞式I/O阻塞在I/O操作上，非阻塞式I/O轮询，

I/O复用阻塞在select/poll/epoll上），第二阶段都是一样的，即这里的阻塞不阻塞体现在第一阶段，从这方面来说I/O复用类型也

可以归类到阻塞式I/O，它与阻塞式I/O的区别在于阻塞的系统调用不同。而异步I/O的两个阶段都不会阻塞进程。

其中POSIX将IO只分成了同步IO、异步IO两种模型。

同步I/O操作：实际的I/O操作将导致请求进程阻塞，直到I/O操作完成。

异步I/O操作：实际的I/O操作不导致请求进程阻塞。

由此，前面分类中：阻塞式I/O，非阻塞式I/O，I/O复用，信号驱动I/O模型都属于同步I/O，因为第二阶段的数据复制都是阻塞的。

而只有前面定义的异步I/O模型与这里的异步I/O操作

总结

同步或者异步I/O主要是指访问数据的机制(即实际I/O操作的完成方式)，同步一般指主动请求并等待I/O操作完毕的方式，I/O操作

未完成前，会导致应用进程挂起；而异步是指用户进程触发IO操作以后便开始做自己的事情，而当IO操作已经完成的时候会得到IO

完成的通知（异步的特点就是通知）,这可以使进程在数据读写时也不阻塞。

阻塞或者非阻塞I/O主要是指I/O操作第一阶段的完成方式(进程访问的数据如果尚未就绪)，即数据还未准备好的时候，应用进程

的表现，如果这里进程挂起，则为阻塞I/O，否则为非阻塞I/O。说白了就是阻塞和非阻塞是针对于进程在访问数据的时候，根据IO

操作的就绪状态来采取的不同方式，说白了是一种读取或者写入操作函数的实现方式，阻塞方式下读取或者写入函数将一直等待，

而非阻塞方式下，读取或者写入函数会立即返回一个状态值。

漫谈五种IO模型（主讲IO多路复用）

1. I/O多路复用
1.1 它的形成原因

如果一个I/O流进来，我们就开启一个进程处理这个I/O流。那么假设现在有一百万个I/O流进来，那我们就需要开启一百万个进程一一对应处理这些I/O流（——这就是传统意义下的多进程并发处理）。思考一下，一百万个进程，你的CPU占有率会多高，这个实现方式及其的不合理。所以人们提出了I/O多路复用这个模型，一个线程，通过记录I/O流的状态来同时管理多个I/O，可以提高服务器的吞吐能力。

1.2 通过它的英文单词来理解一下I/O多路复用

I/O multiplexing 也就是我们所说的I/O多路复用，但是这个翻译真的很不生动，所以我更喜欢将它拆开，变成 I/O multi plexing
multi意味着多，而plex意味着丛（丛：聚集，许多事物凑在一起。），那么字面上来看I/O multiplexing 就是将多个I/O凑在一起。就像下面这张图的前半部分一样，中间的那条线就是我们的单个线程，它通过记录传入的每一个I/O流的状态来同时管理多个IO。

select epoll poll

multiplexing

1.3 I/O多路复用的实现

select epoll poll

I/O多路复用模型

我们来分析一下上面这张图

  1. 当进程调用select，进程就会被阻塞
  2. 此时内核会监视所有select负责的的socket，当socket的数据准备好后，就立即返回。
  3. 进程再调用read操作，数据就会从内核拷贝到进程。

其实多路复用的实现有多种方式：select、poll、epoll

1.3.1 select实现方式

先理解一下select这个函数的形参都是什么

int select(int nfds, fd_set *readfds, fd_set *writefds,
fd_set *exceptfds, struct timeval *timeout);

  • nfds：指定待测试的描述子个数
  • readfds,writefds,exceptfds：指定了我们让内核测试读、写和异常条件的描述字
  • fd_set：为一个存放文件描述符的信息的结构体，可以通过下面的宏进行设置。

void FD_ZERO(fd_set *fdset);
//清空集合
void FD_SET(int fd, fd_set *fdset);
//将一个给定的文件描述符加入集合之中
void FD_CLR(int fd, fd_set *fdset);
//将一个给定的文件描述符从集合中删除
int FD_ISSET(int fd, fd_set *fdset);
// 检查集合中指定的文件描述符是否可以读写

  • timeout：内核等待指定的描述字中就绪的时间长度
  • 返回值：失败-1 超时0 成功>0
#define FILE "/dev/input/mouse0"

int main(void)

{

 int fd = -1;

 int sele_ret = -1;

 fd_set Fd_set;

 struct timeval time = {0};

 char buf[10] = {0};

 //打开设备文件

 fd = open(FILE, O_RDONLY);

 if (-1 == fd)

{

      perror("open error");

      exit(-1);

}

//构建多路复用IO

FD_ZERO(&Fd_set); //清除全部fd

FD_SET(0, &Fd_set); //添加标准输入

FD_SET(fd, &Fd_set); //添加鼠标

time.tv_sec = 10; //设置阻塞超时时间为10秒钟

time.tv_usec = 0; 

sele_ret = select(fd+1, &Fd_set, NULL, NULL, &time);

if (0 > sele_ret)

{

    perror("select error");

    exit(-1);

}

else if (0 == sele_ret)

{

    printf("无数据输入，等待超时.\n");

}

else

{

    if (FD_ISSET(0, &Fd_set)) //监听得到得到的结果若是键盘,则让去读取键盘的数据

{

    memset(buf, 0, sizeof(buf));

    read(0, buf, sizeof(buf)/2);

    printf("读取键盘的内容是: %s.\n", buf);

}

if (FD_ISSET(fd, &Fd_set)) //监听得到得到的结果若是鼠标,则去读取鼠标的数据

{

    memset(buf, 0, sizeof(buf));

    read(fd, buf, sizeof(buf)/2);

    printf("读取鼠标的内容是: %s.\n", buf);

}

}

//关闭鼠标设备文件

    close(fd);

    return 0;

}
1.3.2 poll实现方式

先理解一下poll这个函数的形参是什么

int poll(struct pollfd *fds, nfds_t nfds, int timeout);

  • pollfd：又是一个结构体
struct pollfd {

int fd; //文件描述符

short events; //请求的事件（请求哪种操作）

short revents; //返回的事件

};

后两个参数都与select的第一和最后一个参数概念一样，就不细讲了

  • 返回值：失败-1 超时0 成功>0
#define FILE "/dev/input/mouse0"

int main(void)

{

    int fd = -1;

    int poll_ret = 0;

    struct pollfd poll_fd[2] = {0};

    char buf[100] = {0};

    //打开设备文件

    fd = open(FILE, O_RDONLY);

    if (-1 == fd)

    {

        perror("open error");

        exit(-1);

    }

    //构建多路复用IO

    poll_fd[0].fd = 0; //键盘

    poll_fd[0].events = POLLIN; //定义请求的事件为读数据

    poll_fd[1].fd = fd; //鼠标

    poll_fd[1].events = POLLIN; //定义请求的事件为读数据

    int time = 10000; //定义超时时间为10秒钟

    poll_ret = poll(poll_fd, fd+1, time);

    if (0 > poll_ret)

    {

        perror("poll error");

        exit(-1);

    }

     else if (0 == poll_ret)

    {

        printf("阻塞超时.\n");

    }

    else

    {

        if (poll_fd[0].revents == poll_fd[0].events)

 //监听得到得到的结果若是键盘,则让去读取键盘的数据

        {

            memset(buf, 0, sizeof(buf));

            read(0, buf, sizeof(buf)/2);

            printf("读取键盘的内容是: %s.\n", buf);

        }

        if (poll_fd[1].revents == poll_fd[1].events)

//监听得到得到的结果若是鼠标,则去读取鼠标的数据

        {

              memset(buf, 0, sizeof(buf));

              read(fd, buf, sizeof(buf)/2);

              printf("读取鼠标的内容是: %s.\n", buf);

        }

  }

//关闭文件

close(fd);

return 0;

}
1.3.3 epoll实现方式（太过复杂，为了不增加篇幅不放进来了）

epoll操作过程中会用到的重要函数 

int epoll_create(int size);

int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);

int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);
  • int epoll_create(int size)：创建一个epoll的句柄，size表示监听数目的大小。创建完句柄它会自动占用一个fd值，使用完epoll一定要记得close，不然fd会被消耗完。
  • int epoll_ctl：这是epoll的事件注册函数，和select不同的是select在监听的时候会告诉内核监听什么样的事件，而epoll必须在epoll_ctl先注册要监听的事件类型。
    它的第一个参数返回epoll_creat的执行结果
    第二个参数表示动作，用下面几个宏表示

EPOLL_CTL_ADD：注册新的fd到epfd中；
EPOLL_CTL_MOD：修改已经注册的fd的监听事件；
EPOLL_CTL_DEL：从epfd中删除一个fd；

第三参数为监听的fd,第四个参数是告诉内核要监听什么事

  • int epoll_wait：等待事件的发生，类似于select的调用
2. select
2.1 select函数的调用过程

a. 从用户空间将fd_set拷贝到内核空间
b. 注册回调函数
c. 调用其对应的poll方法
d. poll方法会返回一个描述读写是否就绪的mask掩码，根据这个mask掩码给fd_set赋值。
e. 如果遍历完所有的fd都没有返回一个可读写的mask掩码，就会让select的进程进入休眠模式，直到发现可读写的资源后，重新唤醒等待队列上休眠的进程。如果在规定时间内都没有唤醒休眠进程，那么进程会被唤醒重新获得CPU，再去遍历一次fd。
f. 将fd_set从内核空间拷贝到用户空间

2.2 select函数优缺点

缺点：两次拷贝耗时、轮询所有fd耗时，支持的文件描述符太小
优点：跨平台支持

3. poll
3.1 poll函数的调用过程（与select完全一致）
3.2 poll函数优缺点

优点：连接数（也就是文件描述符）没有限制（链表存储）
缺点：大量拷贝，水平触发（当报告了fd没有被处理，会重复报告，很耗性能）

4. epoll
4.1 epoll的ET与LT模式

LT：延迟处理，当检测到描述符事件通知应用程序，应用程序不立即处理该事件。那么下次会再次通知应用程序此事件。
ET：立即处理，当检测到描述符事件通知应用程序，应用程序会立即处理。

ET模式减少了epoll被重复触发的次数，效率比LT高。我们在使用ET的时候，必须采用非阻塞套接口，避免某文件句柄在阻塞读或阻塞写的时候将其他文件描述符的任务饿死

4.2 epoll的函数调用流程

a. 当调用epoll_wait函数的时候，系统会创建一个epoll对象，每个对象有一个evenpoll类型的结构体与之对应，结构体成员结构如下。

rbn,代表将要通过epoll_ctl向epll对象中添加的事件。这些事情都是挂载在红黑树中。
rdlist，里面存放的是将要发生的事件

b. 文件的fd状态发生改变，就会触发fd上的回调函数
c. 回调函数将相应的fd加入到rdlist，导致rdlist不空，进程被唤醒，epoll_wait继续执行。
d. 有一个事件转移函数——ep_events_transfer，它会将rdlist的数据拷贝到txlist上，并将rdlist的数据清空。
e. ep_send_events函数，它扫描txlist的每个数据，调用关联fd对应的poll方法去取fd中较新的事件，将取得的事件和对应的fd发送到用户空间。如果fd是LT模式的话，会被txlist的该数据重新放回rdlist，等待下一次继续触发调用。

4.3 epoll的优点
  1. 没有最大并发连接的限制
  2. 只有活跃可用的fd才会调用callback函数
  3. 内存拷贝是利用mmap()文件映射内存的方式加速与内核空间的消息传递，减少复制开销。（内核与用户空间共享一块内存）

只有存在大量的空闲连接和不活跃的连接的时候，使用epoll的效率才会比select/poll高

相关文章