曹工说Redis源码(4)-- 通过redis server源码来理解 listen 函数中的 backlog 参数

时间:2024-09-09 17:33:26

文章导航

Redis源码系列的初衷,是帮助我们更好地理解Redis,更懂Redis,而怎么才能懂,光看是不够的,建议跟着下面的这一篇,把环境搭建起来,后续可以自己阅读源码,或者跟着我这边一起阅读。由于我用c也是好几年以前了,些许错误在所难免,希望读者能不吝指出。

曹工说Redis源码(1)-- redis debug环境搭建,使用clion,达到和调试java一样的效果

曹工说Redis源码(2)-- redis server 启动过程解析及简单c语言基础知识补充

曹工说Redis源码(3)-- redis server 启动过程完整解析(中)

本讲主题

早上,技术群里,有个同学问了个问题:

曹工说Redis源码(4)-- 通过redis server源码来理解 listen 函数中的 backlog 参数

这样看来,还是有部分同学,对backlog这个参数,不甚了解,所以,干脆本讲就讲讲这个话题。

本来可以直接拿java来举例,不过这几天正好在看redis,而且 redis server就是服务端,也是对外提供监听端口的,而且其用 c 语言编写,直接调用操作系统的api,不像java那样封装了一层,我们直接拿redis server的代码来分析,就能离真相更近一点。

我会拿一个例子来讲,例子里的代码,是直接从redis的源码中拷贝的,一行没改,通过这个例子,我们也能更理解redis一些。

demo讲解

backlog参数简单讲解

比如我监听某端口,那么客户端可以来同该端口,建立socket连接;正常情况下,服务端(bio模式)会一直阻塞调用accept。

大家想过没有,accept是怎么拿到这个新进来的socket的?其实,这中间就有个阻塞队列,当队列没有元素的时候,accept就会阻塞在这个队列的take操作中,所以,我个人感觉,accept操作,其实和队列的从队尾或队头取一个元素,是一样的。

当新客户端建立连接时,完成了三次握手后,就会被放到这个队列中,这个队列,我们一般叫做:全连接队列。

而这个队列的最大容量,或者说size,就是backlog这个整数的大小。

正常情况下,只要服务端程序,accept不要卡壳,这个backlog队列多大多小都无所谓;如果设置大一点,就能在服务端accept速度比较慢的时候,起到削峰的作用,怎么感觉和mq有点像,哈哈。

说完了,下面开始测试了,首先测试程序正常accept的情况。

main测试程序


int main() {
// 1
char *pVoid = malloc(10);
// 2
int serverSocket = anetTcpServer(pVoid, 6380, NULL, 2);
printf("listening..."); while (1) {
int fd;
struct sockaddr_storage sa;
socklen_t salen = sizeof(sa);
// 3
char* err = malloc(20);
// 4
if ((fd = anetGenericAccept(err, serverSocket, (struct sockaddr*)&sa, &salen)) == -1)
return ANET_ERR;
printf("accept...%d",fd);
}
}
  • 1处,我们先分配了一个10字节的内存,这个主要是存放错误信息,在c语言编程中,不能像高级语言一样抛异常,所以,返回值一般用来返回0/1,表示函数调用的成功失败;如果需要在函数内部修改什么东西,一般就会先new一个内存出来,然后把指针传进去,然后在里面就对这片内存空间进行操作,这里也是一样。

  • anetTcpServer 是我们自定义的,内部会实现如下逻辑:在本机的6380端口上进行监听,backlog参数即全连接队列的size,设为2。如果出错的话,就会把错误信息,写入1处的那个内存中。

    这一步调用完成后,端口就起好了。

  • 3处,同样分配了一点内存,供accept连接出错时使用,和1处作用类似

  • 4处,调用accept去从队列取连接

anetTcpServer,监听端口

int anetTcpServer(char *err, int port, char *bindaddr, int backlog) {
return _anetTcpServer(err, port, bindaddr, AF_INET, backlog);
} static int _anetTcpServer(char *err, int port, char *bindaddr, int af, int backlog) {
int s, rv;
char _port[6]; /* strlen("65535") */
struct addrinfo hints, *servinfo, *p; snprintf(_port, 6, "%d", port);
// 1
memset(&hints, 0, sizeof(hints));
hints.ai_family = af;
hints.ai_socktype = SOCK_STREAM;
hints.ai_flags = AI_PASSIVE; /* No effect if bindaddr != NULL */ // 2
if ((rv = getaddrinfo(bindaddr, _port, &hints, &servinfo)) != 0) {
anetSetError(err, "%s", gai_strerror(rv));
return ANET_ERR;
}
for (p = servinfo; p != NULL; p = p->ai_next) {
// 3
if ((s = socket(p->ai_family, p->ai_socktype, p->ai_protocol)) == -1)
continue;
// 4
if (anetSetReuseAddr(err, s) == ANET_ERR) goto error;
// 5
if (anetListen(err, s, p->ai_addr, p->ai_addrlen, backlog) == ANET_ERR) goto error;
goto end;
} error:
s = ANET_ERR;
end:
freeaddrinfo(servinfo);
return s;
}
  • 1处,new一个结构体,c语言中,new一个对象比较麻烦,要先定义一个结构体类型的变量,如struct addrinfo hints,,然后调用memset来初始化内存,然后设置各个属性。总体来说,这里就是new了一个ipv4的地址

  • 2处,因为一般服务器都有多网卡,多个ip地址,还有环回网卡之类的,这里的getaddrinfo,是利用我们第一步的hints,去帮助我们筛选出一个最终的网卡地址出来,然后赋值给 servinfo 变量。

    这里可能有不准确的地方,大家可以直接看官方文档:

    int getaddrinfo(const char *node, const char *service,

    const struct addrinfo *hints,

    struct addrinfo **res);

    Given node and service, which identify an Internet host and a service, getaddrinfo() returns one or more addrinfo structures, each of which contains an Internet address that can be specified in a call to bind(2) or connect(2).

  • 3处,使用第二步拿到的地址,new一个socket

  • 4处,anetSetReuseAddr,设置SO_REUSEADDR选项,我简单查了下,可参考:

    [socket常见选项之SO_REUSEADDR,SO_REUSEPORT]

    SO_REUSEADDR

    一般来说,一个端口释放后会等待两分钟之后才能再被使用,SO_REUSEADDR是让端口释放后立即就可以被再次使用

  • 5处,调用listen进行监听,这里用到了我们传入的backlog参数。

    其中,backlog参数的官方说明,如下,意思也就是说,是队列的size:

    曹工说Redis源码(4)-- 通过redis server源码来理解 listen 函数中的 backlog 参数

其中,anetListen是我们自定义的,我们接着看:

/*
* 绑定并创建监听套接字
*/
static int anetListen(char *err, int s, struct sockaddr *sa, socklen_t len, int backlog) {
// 1
if (bind(s, sa, len) == -1) {
anetSetError(err, "bind: %s", strerror(errno));
close(s);
return ANET_ERR;
}
// 2
if (listen(s, backlog) == -1) {
anetSetError(err, "listen: %s", strerror(errno));
close(s);
return ANET_ERR;
}
return ANET_OK;
}
  • 1处,这里进行绑定
  • 2处,这里调用操作系统的函数,进行监听,其中,第一个参数就是前面的socket file descriptor,第二个,就是backlog。

如何运行

代码地址:

https://gitee.com/ckl111/redis-3.0-annotated-cmake-in-clion/blob/master/our-redis-implementation/my_anet.c

https://gitee.com/ckl111/redis-3.0-annotated-cmake-in-clion/blob/master/our-redis-implementation/my_anet.h

大家把上面这两个文件,自己放到一个linux操作系统的文件夹下,然后执行以下命令,就能把这个demo启动起来:

曹工说Redis源码(4)-- 通过redis server源码来理解 listen 函数中的 backlog 参数

测试

查看监听端口是否启动

[root@mini2 ~]# netstat -ano|grep 6380
tcp 0 0 0.0.0.0:6380 0.0.0.0:* LISTEN off (0.00/0/0)

开启一个shell,连接到6380端口

曹工说Redis源码(4)-- 通过redis server源码来理解 listen 函数中的 backlog 参数

我这边开了3个shell,去连接6380端口,然后,我执行:

[root@mini2 ~]# netstat -ano|grep 6380
tcp 0 0 0.0.0.0:6380 0.0.0.0:* LISTEN off (0.00/0/0)
tcp 0 0 127.0.0.1:51386 127.0.0.1:6380 ESTABLISHED off (0.00/0/0)
tcp 0 0 127.0.0.1:54442 127.0.0.1:6380 ESTABLISHED off (0.00/0/0)
tcp 0 0 127.0.0.1:51930 127.0.0.1:6380 ESTABLISHED off (0.00/0/0)
tcp 0 0 127.0.0.1:6380 127.0.0.1:51386 ESTABLISHED off (0.00/0/0)
tcp 0 0 127.0.0.1:6380 127.0.0.1:54442 ESTABLISHED off (0.00/0/0)
tcp 0 0 127.0.0.1:6380 127.0.0.1:51930 ESTABLISHED off (0.00/0/0)

可以看到,已经有3个socket,连接到6380端口了。

查看端口对应的backlog队列的相关东西

怎么看backlog那些呢?有个命令叫ss,其是netstat的升级版,执行以下命令如下:

[root@mini2 ~]# ss -l |grep 6380
tcp LISTEN 0 2 *:6380 *:*

上面我们查询了6380这个监听端口的状态,其中,

  • 第一列,tcp,传输协议的名称

  • 第二列,状态,LISTEN

  • 第三列,查阅man netstat可以看到,

    Recv-Q
    Established: The count of bytes not copied by the user program connected to this socket.
    Listening: Since Kernel 2.6.18 this column contains the current syn backlog.

    当其为Established状态时,应该是缓冲区中没被拷贝到用户程序的字节的数量;

    当其为LISTEN状态时,表示当前backlog这个队列,即前面说的全连接队列的,容量的大小;这里,因为我们的程序一直在accept连接,所以这里为0

  • 第4列,官方文档:

    Send-Q
    Established: The count of bytes not acknowledged by the remote host. Listening: Since Kernel 2.6.18 this column contains the maximum size of the syn backlog.

    当其为Established时,表示我方缓冲区中还没有被对方ack的字节数量

    当其为Listen时,表示全连接队列的最大容量,我们是设为2的,所以这里是2。

测试2

当我们程序不去accept的时候,会怎么样呢,修改程序如下:

int main() {
char *pVoid = malloc(10);
int serverSocket = anetTcpServer(pVoid, 6380, NULL, 2);
printf("listening..."); while (1){
sleep(100000);
} }

然后我们再去开启3个客户端连接,然后,最后看ss命令的情况:

[root@mini2 ~]# ss -l |grep 6380
tcp LISTEN 3 2 *:6380 *:*

再执行netstat看看:

[root@mini2 ~]# netstat -ano|grep 6380
tcp 0 0 127.0.0.1:50238 127.0.0.1:6380 ESTABLISHED off (0.00/0/0)
tcp 0 0 127.0.0.1:50362 127.0.0.1:6380 ESTABLISHED off (0.00/0/0)

发现了吗,只有2个连接是ok的。因为我们的全连接队列,最大为2,现在已经full了啊,所以新连接进不来了。

总结

大家可以跟着我的demo试一下,相信理解会更深刻一点。

以前我也写了一篇,大家可以参考下。

Linux中,Tomcat 怎么承载高并发(深入Tcp参数 backlog)

下面这篇文章,也不错:

使用Netty,我们到底在开发些什么?