docker容器化python服务部署（supervisor-gunicorn-flask）

docker容器化python服务部署（supervisor-gunicorn-flask）

本文系作者原创，转载请注明出处: https://www.cnblogs.com/further-further-further/p/13223767.html

目录

• 实现目标

• docker vs virtual machine(虚拟机)

• 实战（python 服务镜像制作，本地镜像仓库创建，移植）

• 遇到的问题以及解决办法

---

• 实现目标

>  在局域网内机器上部署 python 服务（在某台机器上部署完成后，生成镜像，上传到本地镜像仓库，其他机器下载镜像，一键部署服务）；

> 开机自启动（物理机启动->容器自启动->服务自启动）

• docker vs virtual machine(虚拟机)

啥也不说，先上docker官方网站的两张图。

VM（虚拟机）

优点：在于隔离性，各个虚拟环境之间是完全隔离的。

缺点：每个虚拟环境类似于一个独立的机器，有独立的操作系统，所以占用内存比较大，一台物理机器最多也就能同时开启虚拟环境 10+，

另外，部署在虚拟环境下服务不太好移植。

docker

优点：有虚拟机隔离性的特点，解决了传统 VM 占用内存较大，服务不太好移植的问题。

关于 vm 和 docker 的详细区别，这里就不赘述了，网络上铺天盖地，大家随便百度一下。

• 实战（python 服务镜像制作，本地镜像仓库创建，移植）

我的操作系统linux centos7，通过命令 cat /etc/os-release 查看

> docker 安装

注：宿主机 centos 版本最好是 7 以上，在 6 上安装 docker 遇到坑比较多。

yum install -y docker

> 获取基础镜像

docker pull centos

会自动在官网（https://hub.docker.com/）获取 centos:latest 镜像。

查看所有镜像（-a : all）：

docker image ls -a

> 容器创建

docker container run -it -p 8888:8080 -v /opt/app:/opt/app --name=python-server 470671670cac bash

命令文档查看：docker container run --help

-it : 交互式终端（interactive terminal） ，也就是创建容器后进入容器。

-p 8888:8080 :  端口映射（port），将容器端口映射到宿主机端口（8888：宿主机端口，8080：容器端口），宿主机端口 8888 确认能被外网访问。

-v /opt/app:/opt/app：数据卷（volumn），将宿主机的数据（应用程序代码，配置文件等等）挂载到容器指定路径下，实现数据存储的持久化（如果没有数据挂载的话，容器销毁，容器中的数据会自动消失）。

--name=python-server: 新的容器的名称

470671670cac：镜像ID（imageID），当然也可以是 imageName + tag（docker.io/centos:latest）

bash：跟 -it 命令结合在一起操作，使容器创建后处于前端，一般是 /bin/bash，我这是bash。

表示容器已创建完成，并已进入容器，容器ID：5de4e81a2e20

可以通过 Ctrl+p，Ctrl+q 退出容器，但容器还是处于运行状态（Up）。

查看正在运行容器的状态：docker container ls 也可以是 docker ps

查看所有容器的状态（包含正在运行 up 和停止 exit）：docker container ls  -a  == docker ps -a

退出容器后再进入容器，有两种方式（前提是该容器必须处于运行状态）：

方式一：docker container exec -it 5de4e81a2e20(containerID) bash

方式二：ssh 172.17.0.4（容器ip）

查看容器ip（需要退出容器查看）

docker container inspect 5de4e81a2e20(containerID)

容器其他相关操作命令：

容器启动（交互式）：docker container start  -i containerID

关闭容器：docker container stop containerID

容器重启动：docker container restart containerID

删除容器（-f : force 强制删除，能删除处于运行状态的容器）：docker container rm -f  containerID

查看所有容器的容器ID：docker container ls -a -q

删除所有容器：docker contianer rm $(docker container ls -a -q)

在交互式容器中退出，退出启动容器： Ctrl + d

在交互式容器中退出，但是不退出启动容器：先按 Ctrl + p 后 Ctrl + q

使用 -d 启动容器并一直在后台运行 SSH作为第一进程启动：docker container run -d -p 50001:22 imageID /usr/sbin/sshd -D

> 安装 SSH:

SSH作用：

1. 出现问题方便进入容器调试；

2. 作为 python 服务的守护程序，防止容器闪退（一直夯在容器中）；

安装命令： yum install -y openssh-server

ssh 配置文件 sshd_config 路径： /etc/ssh/

ssh 启动文件路径：/usr/sbin/

安装 passwd（设置密码）： yum install -y passwd

设置密码：passwd root

new password: 12345678

启动 SSH: /usr/sbin/sshd

查看容器 ip（退出容器，在宿主机上，最好另起一个客户端）: docker container inspect  1427087a62a7（containerID）

从宿主机进入容器：ssh 172.17.0.5 ，输入密码：12345678

> 安装 python3：

一般只需安装 pip3即可，但是为了服务调试，这里安装了python3，python3中包含了pip。

安装命令：yum install -y python3

安装完成后，查看版本：python3 -V

这里的python服务是关于深度学习的，所以需要添加库opencv，flask，interval，matplotlib，Pillow，gunicorn，gevent，supervisor。

> 安装 python 相关库

通过pip3安装，最好加上国内镜像源，防止网络的原因无法下载。

国内常用镜像源：

阿里云 http://mirrors.aliyun.com/pypi/simple/

中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/

豆瓣(douban) http://pypi.douban.com/simple/

清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/

中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/

>> opencv:

pip3 install opencv-python-headless==4.2.0.32 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

>> flask:

pip3 install Flask==1.1.2 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

>> interval:

pip3 install interval==1.0.0 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

>> matplotlib:

pip3 install matplotlib==3.2.1 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

>> gunicorn

pip3 install gunicorn==20.0.4 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

>> supervisor

pip3 install supervisor==4.0.0 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

>> gevent:

pip3 install gevent==20.6.0 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

当然也可以通过 requirements.txt 一键安装所有相关库：

将 python 相关库写入 requirements.txt中：

cat > requirements.txt <<EOF

certifi==2020.4.5.2
chardet==3.0.4
click==7.1.2
cycler==0.10.0
Flask==1.1.2
gevent==20.6.0
gpg==1.10.0
greenlet==0.4.16
gunicorn==20.0.4
idna==2.9
interval==1.0.0
itsdangerous==1.1.0
Jinja2==2.11.2
kiwisolver==1.2.0
MarkupSafe==1.1.1
matplotlib==3.2.1
meld3==2.0.1
numpy==1.18.5
opencv-python-headless==4.2.0.32
Pillow==7.1.2
pyparsing==2.4.7
python-dateutil==2.8.1
requests==2.23.0
rpm==4.14.2
six==1.15.0
supervisor==4.0.0
urllib3==1.25.9
Werkzeug==1.0.1
zope.event==4.4
zope.interface==5.1.0

EOF

查看：cat requirements.txt

一键安装：pip3 install -r requirements.txt

如果已安装完所有库，需要移植到其他机器中，打包所有 python 库：pip3 freeze > requirements.txt

> supervisor & gunicorn 配置

gunicorn 可以理解为 WSGI 协议的一个实例，WSGI(Web Server Gateway Interface)：就是一个网关，是 web 服务器与应用程序之间通信的协议接口。

supervisor 提供了统一的方式来控制（start，stop，restart）进程，类似于 systemctl（在 docker 容器中 systemctl 命令是无效的）。

>> 生成 supervisord.conf

echo_supervisord_conf > /etc/supervisord.conf

>> 修改 supervisord.conf 配置

vi /etc/supervisord.conf

在文件最底部，去掉 include , files 注释，并将 files 修改为

[include]
files = /etc/supervisor/*.conf

>> 添加 gunicorn.conf

创建路径：mkdir /etc/supervisor

创建配置文件 gunicorn.conf：vi /etc/supervisor/gunicorn.conf

内容为：

[program:gunicorn]
command = gunicorn -c /opt/app/darknet_captcha/gunicorn.conf.py wsgi:application
autostart = true
startsecs = 5
autorestart = true
startretries = 3
redirect_stderr = true
stdout_logfile=/opt/app/logs/gunicorn.log

>> 配置文件生效：supervisorctl update

>> 先测试 gunicorn 启动 flask 服务

gunicorn -c /opt/app/darknet_captcha/gunicorn.conf.py wsgi:application

psc -ef|grep gunicorn

说明启动正常

删除 gunicorn 进程，改由 supervisord 启动

kill -9  55

>> 用 supervisord 启动 gunicorn

supervisord -c /etc/supervisord.conf

如果出现如下问题，说明已有进程启动，占用了端口号。

解决办法：删除已启动进程即可

ps -ef|grep supervisord

kill -9 pid

启动后，查看 gunicorn 是否启动。

ps -ef|grep gunicorn

如果服务启动失败，在日志里查看原因。

日志查看：vi /opt/app/logs/gunicorn.log

后面就可以使用如下命令操作gunicorn
supervisorctl start gunicorn
supervisorctl stop gunicorn
supervisorctl restart gunicorn

到此，在单机上 docker 容器下 flask 服务部署已完成，接下来就是

基本镜像的制作，通过 dockerfile 创建最终镜像，本地镜像仓库创建，镜像 push 到本地仓库，局域网内其他机器 pull 镜像，一键部署服务。

> 基本镜像制作

退出容器，但容器需处于运行（up)状态：Ctrl + p，Ctrl + q

查看容器ID: docker container ls

制作镜像（镜像名称：weixw/python-server-mirror:v1）：docker commit c96c249cf2bd weixw/python-server-mirror:v1

用 docker image ls 查看新镜像是否已存在

> 通过 dockerfile 创建最终镜像

为什么还要通过 dockerfile 制作镜像呢，因为上面生成的基础镜像只能保存静态文件，资源，不能保存动态命令，比如 shell 相关命令，应用程序命令，

而这些命令可以通过 dockerfile 写入进来，从而达到一键创建容器就能自动启动服务的目的。

>> 创建 Dockerfile （规范名称必须是 Dockerfile 或 dockerfile）

在应用程序服务的根目录下创建 Dockerfile :

cd /opt/app/darknet_captcha

vi Dockerfile

>> Dockerfile 内容

FROM: 基础镜像

WORKDIR:  指定当前路径

COPY: 复制文件

ADD : 添加文件，有 COPY 功能，还有解压，从网站下载文件作用

EXPOSE: 暴露容器端口

CMD : shell 以及 应用程序命令

>> init.sh（）

CMD 一般只能运行一条命令，对于多个命令，采用脚本方式运行。

>> 创建最终镜像

cd /opt/app/darknet_captcha

docker image build -t weixw/python-server-mirror:v1.2 ./

查看：docker image ls

> 本地镜像仓库创建（其他端口不太行，需要开启外网访问端口5000）：

>> 下载 registry 镜像

docker pull registry

>> 启动registry容器：docker run -d -p 5000:5000 --restart=always --name registry -v /opt/registry/:/var/lib/registry registry

--restart=always : docker 启动，容器自启动

>> 修改docker 配置文件 daemon.json

vim /etc/docker/daemon.json
{
"registry-mirrors":["https://uoggbpok.mirror.aliyuncs.com"],
"insecure-registries":["120.132.8.180:5000"]
}

>> 本地仓库加安全认证

>>> 生成密码：username: root     password: 123456

yum install httpd-tools -y
mkdir /opt/registry-auth/ -p
htpasswd -Bbn root 123456 > /opt/registry-auth/htpasswd

>>> 修改密码：
cd /opt/registry-auth/
vim htpasswd

>>> 重新启动带有秘钥功能的registry容器
docker rm -f containerID
docker run -d -p 5000:5000 -v /opt/registry-auth/:/auth/ -v /opt/registry:/var/lib/registry --restart=always --name register-auth -e "REGISTRY_AUTH=htpasswd" -e "REGISTRY_AUTH_HTPASSWD_REALM=Registry Realm" -e "REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd" registry

>>> 规范本地镜像名称：docker tag  imageID   120.132.8.180:5000/weixw/captcha

docker tag weixw/python-server-mirror:v1 120.132.8.180:5000/weixw/python-server-mirror:v1.2

>>> 登录（一定要先登录校验，否则无法 push）：
docker login 120.132.8.180:5000
username: root
password: 123456

>>> 上传镜像到本地仓库（端口5000能被外网访问）：docker push 120.132.8.180:5000/weixw/python-server-mirror:v1.2

有一个 harbor 服务用来可视化管理镜像的，大家感兴趣的话可以玩玩，因为我的Linux宿主机本来就是虚拟机，配置比较低，这里就不安装了。

> 另外一台机器获取镜像（ 120.132.8.180:5000）步骤：

>> 修改docker 配置文件 daemon.json
vim /etc/docker/daemon.json
{
"registry-mirrors":["https://uoggbpok.mirror.aliyuncs.com"],
"insecure-registries":["120.132.8.180:5000"]
}

>> 重启 docker : systemctl restart docker

>> 登录（pull 一般不需要登录，可以直接下载）：

docker login 120.132.8.180:5000
username: root
password: 123456

>> 向镜像仓库（120.132.8.180:5000）获取镜像： docker pull 120.132.8.180:5000/weixw/python-server-mirror

>> 一键启动服务：docker container run -d -p 80:8080 --restart=always --name=captcha_server 120.132.8.180:5000/weixw/python-server-mirror

-d: 表示在后台启动

-p: 表示端口映射（80：宿主机端口，8080：容器端口）

--restart=always：表示开机自启动容器

启动容器后查看 flask 服务是否启动：ps -ef|grep gunicorn

用 curl 或 postman 向 120.132.8.180:80/服务名称 发送请求，查看结果。

如果服务没有起来，查看日志/opt/app/logs/gunicorn.log 定位问题，然后解决问题。

• 遇到的问题以及解决办法

> 无法强制删除镜像

原因：该镜像下有容器创建，有可能不是运行状态（exit），所以需要先删除容器，再删除镜像。

解决方案：

查找所有容器：dokcer container ls -a

删除该镜像下所有容器：docker container rm -f containerID

删除镜像：docker image rm -f imageID

> 镜像也可以保存文件，然后将文件导入

>> 将镜像保存在本地：docker save -o 本地名字 image/name

例如： docker save -o python-server.tar 120.132.8.180:5000/weixw/python-server-mirror

>> 将本地镜像文件加载进docker: docker load -i python-server.tar

不要让懒惰占据你的大脑，不要让妥协拖垮了你的人生。青春就是一张票，能不能赶上时代的快车，你的步伐就掌握在你的脚下。