问题描述
公司服务器在运行过程中发现使用docker部署的服务,在运行一段时间后就出现服务突然挂掉的情况,但是进入服务器,发现容器是正常运行的,服务器系统也是正常运行的。
通过排查以及查阅资料发现,是由于docker默认安装的RootDir目录是在var分区,而var分区在系统安装的时候只分配了100G的容量,由于目前公司使用的是gitlab ci/cd工具对所有的项目的前后端实现了自动部署,所以每一次部署都会产生新的镜像和容器以及docker相关的日志文件和系统文件都会保存在此目录中,导致此目录已用容量一直会不断增大,目前通过清理发现,就目前正在使用的镜像和容器和相关文件大小至少需要80G左右的存储空间。随着公司项目的增多,这个分区的容量显然已经不够用了。
解决思路
目前能想到的解决方案有两个:
1. 给var分区扩容
2. 更换RootDir的分区
通过查阅资料以及以往的经验来说,分区扩容这个操作相对更换RootDir的操作风险性大更高,更换Docker的RootDir分区相对来说风险性较小,而且对于切换RootDir网上有很多相关资料和成熟方案;所以采用第二种方案。
具体步骤
1. 停止docker服务
systemctl stop docker
如果出现提示
Warning: Stopping , but it can still be activated by:
则需要通过停止 来停止docker
systemctl stop
后续启动的话也需要执行命令来启动docker,我本机启动第一条命令也可以。
systemctl start
systemctl start docker
2. 创建新的RootDir目录
由于目前home分区最大6.6T,所以暂定放在home目录下
mkdir -p /home/docker-rootdir/
3. 同步数据
#cp命令或者mv命令也可以,rsync更安全
rsync -avz /var/lib/docker/ /home/docker-rootdir/
4. 配置Docker的root_dir
修改、etc/docker/,添加如下内容:
"graph": "/home/docker-rootdir"
此处还有好多种方式,比如启动命令添加启动项等等,但是个人觉得使用配置文件的方式更安全,也方面其他运维人员可以方面的看到配置。
5. 更新配置,重启docker
重新加载配置
systemctl daemon-reload
重启docker
systemctl restart docker
如果重启不生效,在停止的时候停止的是则使用如下命令重启
systemctl start
6. 查看是否配置成功
docker info | grep "Root Dir"
如何显示的已经是更换后的目录则说明切换成功。
7. 测试
查看镜像是否完整,容器是否能够正常启动.