基于docker-swarm搭建持续集成集群服务

时间：2021-02-24 18:15:39

前言

本文只为自己搭建过程中的一些简单的记录。如果实践中有疑问，可以一起探讨。
为了能在本机（macOS)模拟集群环境，使用了vb和docker-machine。整体持续集成的几个机器设施如下：

  1. 服务节点：三个manager节点，一个worker节点。manager需要占用更多的资源，manager配置尽量高一些。swarm的manager节点的容错率是 (N-1)/2 。N是manager节点数。也就是如果有3个manager，那就能容忍一个manager节点挂掉。官方的算法说明：Raft consensus in swarm mode。
  2. 本地的镜像仓库 registry：用来存储所有需要部署的服务docker镜像。
    https://docs.docker.com/registry/deploying/
    因为使用swarm机制，所以不需要在服务间通信问题考虑服务发现以及负载均衡的问题（代替原有的consul&registor方式）。
  3. 构建镜像的运维节点 ops:
    也即运维机器。一个独立的节点即可。主要负责build镜像，push镜像。在ops里可以构建gitlab的私库。维护构建脚本。机器所需配置不高,对网络宽带还是尽量多一些。

用docker-machine 模拟集群环境

创建registry节点

 docker-machine create -d virtualbox --virtualbox-memory "512"  registry

–engine-registry-mirror 这个参数是可以设置一些加速仓库的地址。

创建manager,worker节点

manager 

docker-machine create -d virtualbox --virtualbox-memory "800"  manager1

worker: 

docker-machine create -d virtualbox --virtualbox-memory "800"    worker1   
docker-machine create -d virtualbox --virtualbox-memory "800"    worker2   
docker-machine create -d virtualbox --virtualbox-memory "800"    worker3

创建ops 节点

docker-machine create -d virtualbox --virtualbox-memory "512" ops

查看机器列表状态

docker-machine ls

创建registry服务

登录到registry机器上。

docker-machine ssh registry

创建一个registry服务。

docker run -d -p 5000:5000 --restart=always --name registry \
  -v `pwd`/data:/var/lib/registry \
  registry:2

命令设置了-v volumn选项，这样在每次容器服务重启的时候，不会丢失已经pull的镜像数据。registry,mysql等存储类型的容器，建议设置一下volumn.如果为了更好的扩展，也可以将镜像仓库备份到其他driver里，如阿里云的OSS.
运行docker ps就可以看到一个启动好的registry服务。当然，为了更好的扩展，也可以挂载在自己的域名下，重新run 的时候添加认证信息。
为了更方便管理容器，可以使用docker-compose 组件。安装： 

curl -L "https://github.com/docker/compose/releases/download/1.9.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

也可以写好compose文件之后直接启动： 

docker-compose up -d

本地仓库push镜像

现在可以尝试拉一个镜像，然后tag到本地的registry仓库，如

 docker pull lijingyao0909/see:1.0.3 && docker tag lijingyao0909/see:1.0.3 localhost:5000/see:1.0.3

然后再执行push 命令：

docker push localhost:5000/see:1.0.3

这个镜像就push到了registry服务中，最直接的方式可以通过查看本地的volumn目录，如本例中的 data目录查看到镜像数据。
如果为了更方便的可视化管理registry,也可以试用下registry UI 相关的镜像如hyper/docker-registry-web。 

docker run -it -p 8080:8080 --name registry-web --link registry-srv -e REGISTRY_URL=http://registry-srv:5000/v2 -e REGISTRY_NAME=localhost:5000 hyper/docker-registry-web

然后访问 hostname:5000/registory/index可以看到简单的镜像列表UI。

https 问题

在本地测试时如果执行以上步骤，在push，或者在其他vb中pull镜像时遇到以下问题：
Error response from daemon: Get https://registry:5000/v1/_ping: dial tcp 218.205.57.154:5000: i/o timeout
处理方式是，修改registry的认证，如下先修改“/var/lib/boot2docker/profile”： 

sudo vi /var/lib/boot2docker/profile

添加 

DOCKER_OPTS="--insecure-registry <host-name>:5000"
DOCKER_OPTS="--insecure-registry registry:5000"

因为registry的hostname就是 registry。所以执行docker ifno命令可以看到: 

Insecure Registries:
 registry:5000
 127.0.0.0/8

同时，在其他的worker机器，manager机器也需要修改–insecure-registry属性，才可以pull私库的镜像。修改之后需重新restart vb。
重启后，在manager重新尝试pull

 docker pull registry:5000/see:1.0.3

可以看到成功连接仓库并拉取镜像。注意，本示例使用的是机器名，registry，而不是IP地址。所以，在拉取镜像的时候，需在各自的vb 的etc/hosts文件配置ip和机器名的映射。用机器名的方式比较操作易记。当然最好的方式还是通过域名访问仓库。

参考资源

部署registry服务

创建ops服务

swarm的服务集群会直接从registry上pull镜像，直接启动应用的service服务。服务的镜像直接打在registry仓库中，但是源码可以维护在ops机器上。前面创建的ops的virtual-box，可以部署gitlab服务。启动参数可以参考Deploy GitLab Docker images

先pull一个gitlab镜像

docker run --detach \
    --hostname gitlab.lijingyao.com \
    --publish 443:443 --publish 80:80 --publish 22:22 \
    --name gitlab \
    --restart always \
    --volume `pwd`/gitlab/config:/etc/gitlab \
    --volume `pwd`/gitlab/logs:/var/log/gitlab \
    --volume `pwd`/gitlab/data:/var/opt/gitlab \
    gitlab/gitlab-ce:8.14.4-ce.0

使用git私库

因绑定了80端口，启动gitlab后访问：http://machine-host/
第一次进入gitlab会自动跳转到重置密码。可以设置一个新的密码,这个是root账号的密码。后续就可以注册其他git用户使用了。
这里，如果申请了域名服务，或者本地绑定gitlab.lijingyao.com 到这个virtualbox的ip地址，就可以直接访问gitlab.lijingyao.com地址。在实际生产环境有固定公网ip，自己的dns服务，就不需要绑定host。这里只是本地测试，所以暂时就通过绑定host的方式。

swarm

本例中的服务是一个简单的springboot 和gradle的工程，服务镜像可以在docker hub pull,see service image。打包好镜像后，直接在gradle task中push到registry仓库中。在本地环境可以直接在工程目录里执行。gradle task然后push到vb的registry中，再在registry 仓库pull镜像即可。现在开始准备初始化swarm 集群。
现在整个vb 集群的机器，查看如下： 

$docker-machine ls

NAME       ACTIVE   DRIVER       STATE     URL                         SWARM   DOCKER    ERRORS
haproxy    -        virtualbox   Running   tcp://192.168.99.103:2376 v1.12.3 
manager1   -        virtualbox   Running   tcp://192.168.99.100:2376 v1.12.3 
ops        -        virtualbox   Running   tcp://192.168.99.106:2376 v1.12.3 
registry   -        virtualbox   Running   tcp://192.168.99.107:2376 v1.12.3 
worker1    -        virtualbox   Running   tcp://192.168.99.101:2376 v1.12.3 
worker2    -        virtualbox   Running   tcp://192.168.99.102:2376 v1.12.3 
worker3    -        virtualbox   Running   tcp://192.168.99.105:2376 v1.12.3

然后用docker-machine ssh manager1登陆到manager1机器上。

初始化swarm manager节点

在manager1 机器上初始化swarm，这个初始化的机器就是swarm的manager.执行： 

 docker swarm init --advertise-addr  192.168.99.100

会看到以下执行输出： 

Swarm initialized: current node (03x5vnxmk2gc43i0d7xpycvjg) is now a manager.

To add a worker to this swarm, run the following command:

    docker swarm join \
    --token SWMTKN-1-5ru6lyco3upj7oje6hidug3erqczok84wk7bekzfaca4uv51r9-22bcjhkbxnclmw3nl3ui8601l \
    192.168.99.100:2377

To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.

这个生成的token值，是其他swarm集群节点join到整个swarm的key。如果忘记了token，可以在manager1上执行： 

$docker swarm join-token manager

来查看目前的token值。官方建议至少6个月更换以下token。更换命令： 

$docker swarm join-token  --rotate worker

添加worker节点

分别登录 worker1，worker2，worker3,执行join命令。
在join之前，先查看下docker 网络设施。执行

$ docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
4b7fe1416322        bridge              bridge              local               
06ab6f3352b0        host                host                local               
eebd5c8e0d5d        none                null                local

按照manager1 初始化之后的命令，执行： 

docker swarm join \
    --token SWMTKN-1-5ru6lyco3upj7oje6hidug3erqczok84wk7bekzfaca4uv51r9-22bcjhkbxnclmw3nl3ui8601l \
    192.168.99.100:2377

此时在任何worker节点再执行docker network ls 即可看到多了一个overlay的覆盖范围为swarm的网络通道。
三个worker都加入之后，在manager1 上即可看到manager的node节点情况

docker node ls
ID                           HOSTNAME  STATUS  AVAILABILITY  MANAGER STATUS
03x5vnxmk2gc43i0d7xpycvjg *  manager1  Ready   Active        Leader       
2y5wrndibe8c8sqv6851vrlgp    worker1   Ready   Active        Reachable
dwgol1uinkpsybigc1gm5jgsv    worker2   Ready   Active        
etgyky6zztrapucm59yx33tg1    worker3   Ready   Active        Reachable

manager status的Reachable状态表示该节点也是manager节点。这是因为我们在worker1,worker3分别执行了

docker node promote worker1
docker node promote worker3

worker1,worker3此时也可以执行swarm命令，在manager1关停时，就会选举其中之一作为新的leader。如果要去除node的manager状态，可以通过demote命令去除。执行后，worker节点就变成普通的任务节点。

docker node demote worker1 worker3

swarm节点的其他状态

swarm节点可以设置drain状态，drain状态的节点不会执行任何service。
将某个node设置不可用： 

docker node update --availability drain worker1

Pause,Drain,Active三个状态，pause标识有任务运行，不接受新任务。
如果要将worker1 节点去除swarm中心，现在需被移除的节点（worker1）执行：docker swarm leave 然后在manager上执行：docker node rm worker1，即可移除一个swarm节点。

创建swarm服务

本例中使用swarm部署一个基于springboot的rest api服务。仓库的地址：springboot-restful-exam,创建的服务name是deftsee，绑定80端口，并且扩展4个运行容器服务。 

docker service create \
  --replicas 4 \
  --name deftsee \
  --update-delay 10s \
  --publish 8080:80 \
  lijingyao0909/see:1.0.3

服务创建之后，可以查看服务节点的状态 

docker@manager1:~$ docker service ls
ID            NAME     REPLICAS  IMAGE                    COMMAND
a6s5dpsyz7st  deftsee  4/4       lijingyao0909/see:1.0.3

REPLICAS 代表服务的运行容器数，如果是0/4就代表所有服务都没有起来。详细查看各个节点运行状态可以用docker service ps servicename 

docker@manager1:~$ docker service ps deftsee
ID                         NAME       IMAGE                    NODE      DESIRED STATE  CURRENT STATE          ERROR
8lsdkf357lk0nmdeqk7bi33mp  deftsee.1  lijingyao0909/see:1.0.3  worker2   Running        Running 5 minutes ago  
cvqm5xn7t0bveo4btfjsm04jp  deftsee.2  lijingyao0909/see:1.0.3  manager1  Running        Running 7 minutes ago  
6s5km76w2vxmt0j4zgzi4xi5f  deftsee.3  lijingyao0909/see:1.0.3  worker1   Running        Running 5 minutes ago  
4cl9vnkssedpvu2wtzu6rtgxl  deftsee.4  lijingyao0909/see:1.0.3  worker3   Running        Running 6 minutes ago

可以看到任务被平分到所有的四个任务节点运行。下面再扩容deftsee服务

docker@manager1:~$ docker service scale deftsee=6
deftsee scaled to 6
docker@manager1:~$ docker service ps deftsee
ID                         NAME       IMAGE                    NODE      DESIRED STATE  CURRENT STATE           ERROR
8lsdkf357lk0nmdeqk7bi33mp  deftsee.1  lijingyao0909/see:1.0.3  worker2   Running        Running 8 minutes ago   
cvqm5xn7t0bveo4btfjsm04jp  deftsee.2  lijingyao0909/see:1.0.3  manager1  Running        Running 10 minutes ago  
6s5km76w2vxmt0j4zgzi4xi5f  deftsee.3  lijingyao0909/see:1.0.3  worker1   Running        Running 8 minutes ago   
4cl9vnkssedpvu2wtzu6rtgxl  deftsee.4  lijingyao0909/see:1.0.3  worker3   Running        Running 9 minutes ago   
71uv51uwvso4l340xfkbacp2i  deftsee.5  lijingyao0909/see:1.0.3  manager1  Running        Running 5 seconds ago   
4r2q7q782ab9fp49mdriq0ssk  deftsee.6  lijingyao0909/see:1.0.3  worker2   Running        Running 5 seconds ago

lijingyao0909/see:1.0.3是dockerhub的公共仓库的镜像，服务创建时会去pull镜像，整体速度偏慢，所以可以结合私有仓库，直接在registry机器上pull镜像。服务可以直接用docker service rm deftsee移除服务，然后通过registry重建服务。 

docker service create \
  --replicas 6 \
  --name deftsee \
  --update-delay 10s \
  --publish 8080:80 \
  registry:5000/see:1.0.4

此时登录任何一台worker服务，查看运行的容器镜像： 

docker@worker2:~$ docker ps
CONTAINER ID        IMAGE                     COMMAND                  CREATED              STATUS              PORTS               NAMES
89d4f588290b        registry:5000/see:1.0.4   "/bin/sh -c 'java -Dc"   About a minute ago   Up About a minute   8080/tcp            deftsee.1.eldpgb1aqtf9v49cxolydfjm9

如果要更新服务，可以直接通过update命令更新版本，并且服务滚动发布，通过设置*–update-delay 10s *可以改变更新时各个节点的延迟时间。 

docker service update --image registry:5000/see:1.0.5 deftsee

重启某个node的服务

关闭：docker node update –availability drain worker1
开启：docker node update –availability active worker1

更新服务端口

更新一个服务的端口会重启服务（关闭原有服务，重新创建服务并启动）： 

 docker service update \
  --publish-add <PUBLISHED-PORT>:<TARGET-PORT> \
  <SERVICE>

docker@manager1:~$docker service update \
  --publish-add 8099:8080 \
  deftsee

docker@manager1:~$ docker service ps deftsee
ID                         NAME           IMAGE                    NODE      DESIRED STATE  CURRENT STATE                ERROR
3xoe34msrht9eqv7eplnmlrz5  deftsee.1      registry:5000/see:1.0.4  manager1  Running        Running 39 seconds ago       
eldpgb1aqtf9v49cxolydfjm9   \_ deftsee.1  registry:5000/see:1.0.4  worker2   Shutdown       Shutdown 39 seconds ago      
9u4fh3mi5kxb14y6gih5d8tqv  deftsee.2      registry:5000/see:1.0.4  manager1  Running        Running about a minute ago   
0skgr5fx4xtt6y71yliksoft0   \_ deftsee.2  registry:5000/see:1.0.4  worker1   Shutdown       Shutdown about a minute ago  
8hposdkqe92k7am084z6kt1j0  deftsee.3      registry:5000/see:1.0.4  worker3   Running        Running about a minute ago   
c5vhx1wx0q8mxaweaq0mia6n7   \_ deftsee.3  registry:5000/see:1.0.4  manager1  Shutdown       Shutdown about a minute ago  
9se1juxiinmetuaccgkjc3rr2  deftsee.4      registry:5000/see:1.0.4  worker1   Running        Running about a minute ago   
4wofho0axvrjildxhckl52s41   \_ deftsee.4  registry:5000/see:1.0.4  worker3   Shutdown       Shutdown about a minute ago

服务验证和网络

例子中的服务启动后，可以直接通过ip:port访问。如http://192.168.99.100:8099/see，可以看到服务请求会分发到各个运行的节点中。也就是swarm的overlay网络层，各个节点的网络是互通的，swarm做了load balance,在swarm的lb的基础上也可搭建自己定义的overlay网络,创建的这个overlay 网络，所有节点都可以和这个network互通。但是在服务创建的时候需要制定network选项。 

$docker network create \
  --driver overlay \
  --subnet 10.0.9.0/24 \
  --opt encrypted \     
  my-network

$docker service create \
  --name deftsee \
  --publish 8099:80 \
  --replicas 4 \
  --network my-network \
  -l com.df.serviceDomain=deftsee.com \
  -l com.df.notify=true \
  lijingyao0909/see:1.0.3

–network my-network制定了服务可连接到的docker network，可以在swarm的节点创建一个name为my-network的网络。所以也可以在swarm机制中搭建consul和haproxy的服务发现和lb机制。
当为一个服务指定一个network的时候，swarm上执行的任务也必须都在这个指定的网络上才能和服务互通。如果节点上没有加入到swarm模式的node中，或者没有运行挂载在这个指定网络的时候，也不会和这个network互通.docker network ls也不会查出该网络。创建服务时通过–network my-network这个标签链接到这个网络。在查看网络时，docker network inspect my-network可以查看返回的Containers 列出的该节点的挂载容器。
创建了一个网络服务，有service连接到网络时，swarm会给这个网络下的服务(service)指定一个vip. swarm 内部的lb会自动分发服务，不需要指定每个服务端口，即在同一个network连接的容器，通过service name就可以访问到服务。因为所有加入到这个network的容器都会通过gossip协议共享一个DNS映射（vip映射根据service name 绑定到的dns别名映射）。
查看服务的vip网络信息： 

$docker service inspect \
  --format='{{json .Endpoint.VirtualIPs}}' \
  deftsee

输出：[{"NetworkID":"dn05pshfagohpebgonkhj5kxi","Addr":"10.255.0.6/16"}]

swarm管理

  1. 为了保持manager节点的可用性（心跳机制，leader选举），可以将manager节点设置成不接受服务运行，节省manager节点资源，将manager节点隔离出任务环境。 
docker node update --availability drain <NODE>
  1. 备份/var/lib/docker/swarm/raft 状态
  2. 清理不可用的节点 
docker node demote <NODE> 
docker node rm <id-node>.
  1. 节点重新加入manager re-join
$docker node demote <NODE>.
$docker node rm <NODE>.
$docker swarm join ...
  1. 初始化的时候指定固定ip ，init –advertise-addr。worker节点可以用动态ip 。

参考资源

Swarm mode

标签：

相关文章