记录一次docker上gitlab容器占用cpu100%问题解决

时间:2024-04-10 14:19:08

公司项目代码都是放在gitlab上来管理的,原来都好好的,年后上班访问gitlab发现502问题,gitlab无法应答。

登录服务器,top后发现cpu使用100%一直下不来。于是试着万能法则--》重启gitlab容器后,容器停止时cpu下来了,启动后cpu又搞到100%,不用说是容器问题了。

docker exec -it /bin/bash 登录对应gitlab容器,查看日志(gitlab日志地址一般都是在/var/log/gitlab下,当然,也可以用命令gitlab-ctl tail查看实时日志):gitlab日志查看

进入到/var/log/gitlab/下,查看gitlab-rails/production.log日志,发现是redis无法写入磁盘造成的(额,忘了截图了……)。既然是redis的问题,那么,回到/var/log/gitlab/redis下,再看redis的日志,发现是没有空间可写入了。看到这,哦,恍然大悟,赶紧df -h看下磁盘空间情况,果然,磁盘空间100%已被占用。哈哈,定位到问题了就好解决了:

查看下有什么大文件:参考:Docker镜像导致centos-root根分区容量爆满

find / -xdev -size +100M -exec ls -l {} \;

找到gitlab的日志文件占用了19G的空间
记录一次docker上gitlab容器占用cpu100%问题解决
考虑到没有什么用就将日志文件删除了,再df下,磁盘还是100%,看来还得再重启下容器,于是重启容器后,过了一会再查看,发现磁盘空间不再是100%,且gitlab也能再次访问了。问题解决。

可能你遇到的问题不一定和我一样,不过通过日志查看,应该大概都能定位到问题的哈~