提高单机短连接QPS到20万

时间:2022-01-11 17:56:06
短连接QPS达到20w,网卡pps接近百万,耗时主要在软中断,内核spinlock和网卡驱动,基本饱和

​​一般的通讯协议在设计上都避免服务器端主动发起TCP连接关闭,让客户端来发起close socket,避免服务器端端口和内存的资源消耗


默认情况下,客户端关闭TCP连接后本地的临时端口会长时间进入TIME_WAIT状态(默认120s),TIME_WAIT状态是为了保护TCP协议的正确性,避免端口发生复用后老的TCP连接残留在网络上的报文进入新的连接里。但这也引入了一个问题,临时端口数量有限,耗尽后,新建连接就会报错EADDRNOTAVAIL


首先要增加临时端口的数量,增加可被消耗的临时端口资源
sysctl -w "net.ipv4.ip_local_port_range=1024 65535”


然后要加速临时端口回收


第一种方法是启用tw_reuse,tw_reuse能加速TIME_WAIT状态端口在几秒时间内安全的回收
sysctl -w net.ipv4.tcp_timestamps=1
sysctl -w net.ipv4.tcp_tw_reuse=1
2.6.32内核下启动tw_reuse短连接可以达到2w,性能并不稳定;


第二种方法更激进些,启用tw_recycle,tw_recycle允许在两个RTT。当多个客户端处于NAT后时,在服务器端开启tw_recycle会引起丢包问题,如果丢SYN包,就会造成新建连接失败
sysctl -w net.ipv4.tcp_timestamps=1
sysctl -w net.ipv4.tcp_tw_recycle=1
2.6.32内核下启动tw_recycle短连接可以达到6w,比较稳定;


第三种方法是给socket配置SO_LINGER,on设为1,linger设为0,这样关闭连接后TCP状态从ESTAB直接进入CLOSED,向服务器发rst包而不是fin包来关闭连接。这种方法风险最高,会丢弃buffer里未发送完的数据,不过通过设计协议(客户端和服务器协议上协商后再关闭TCP连接)可以规避这个问题,使用需要小心,选择合适的场景。
这个方法可以完全解掉TIME_WAIT问题,短连接达到20w,很稳定


短连接QPS达到20w后,网卡pps接近百万,耗时主要在软中断,内核spin_lock和网卡驱动里,也基本让内核态网络协议栈负载饱和了


提高单机短连接QPS到20万

提高单机短连接QPS到20万



当然,这些调优的前提是先写一对高性能的客户端和服务器端程序 ​​​​