公司项目代码都是放在gitlab上来管理的,原来都好好的,年后上班访问gitlab发现502问题,gitlab无法应答。
登录服务器,top后发现cpu使用100%一直下不来。于是试着万能法则--》重启gitlab容器后,容器停止时cpu下来了,启动后cpu又搞到100%,不用说是容器问题了。
docker exec -it /bin/bash 登录对应gitlab容器,查看日志(gitlab日志地址一般都是在/var/log/gitlab下,当然,也可以用命令gitlab-ctl tail查看实时日志):gitlab日志查看
进入到/var/log/gitlab/下,查看gitlab-rails/production.log日志,发现是redis无法写入磁盘造成的(额,忘了截图了……)。既然是redis的问题,那么,回到/var/log/gitlab/redis下,再看redis的日志,发现是没有空间可写入了。看到这,哦,恍然大悟,赶紧df -h看下磁盘空间情况,果然,磁盘空间100%已被占用。哈哈,定位到问题了就好解决了:
查看下有什么大文件:参考:Docker镜像导致centos-root根分区容量爆满
find / -xdev -size +100M -exec ls -l {} \;
找到gitlab的日志文件占用了19G的空间
考虑到没有什么用就将日志文件删除了,再df下,磁盘还是100%,看来还得再重启下容器,于是重启容器后,过了一会再查看,发现磁盘空间不再是100%,且gitlab也能再次访问了。问题解决。
可能你遇到的问题不一定和我一样,不过通过日志查看,应该大概都能定位到问题的哈~