GO goroutine暴涨与response.Body.Close()的关联

时间:2024-03-30 16:30:43

背景

项目接口压测过程中发现goroutine暴涨

 

头脑风暴

看到暴涨我第一时间想的不是网络问题,而是代码层面的问题,因为我知道我代码里没有写.Body.Close(),没有手动关闭链接,导致协程无法正常关闭,从而goroutine暴涨

 

代码review

我看了下generate_url中使用http包的地方,发现咱们用的框架的http被二次封装过,看框架源码, 代码层面已经有一个Body.Close(),所以外层调用默认参数下,都是会关闭请求资源的

GO goroutine暴涨与response.Body.Close()的关联

所以理论上讲,我外层并不需要手动close一下资源,那么goroutine暴涨并不是它的锅,我们可以放心使用(后来查了下是cpu打满,导致请求处理不过来了,goroutine才暴涨的)。

 

为什么不关闭资源(即调用response.Body.Close()),会导致goroutine暴涨呢?

简单的来说就是,原生的http包里,每发生一次http请求,在过程中会生成两个协程,一个负责写入request (persistConn.writeLoop),一个负责读response (persistConn.readLoop), 这两个方法,你追golang的http包,都会找到。由于两个协程是用for+select构成的,所以在没有接收到结束信号(获取 writeLoop 返回的写入错误或 pc.closech的关闭信息,连接超时的信息或 readLoop的 resp或cancel或ctx done的信息)之前,都会阻塞住,导致goroutine无法退出,当请求量过大时,gotoutine不能及时释放,就会导致gotoutine数量突增。