【区块链】HyperLedger Besu Docker异地组网

今天分享的内容其实不单止区块链适用，很多需要分布式组网的场景下同样适用（只是我们在区块链场景下碰到了而已）。所以究竟放在Docker系列还是区块链系列我还真有点犹豫...至于某些博客中我是没有写区块链相关的内容的，其实不是我不想写只是过不了审发布不了而已。

言归正传，由于我们整个HyperLedger Besu区块链集群都是基于Docker搭建的，因此Docker异地组网是一个必须解决的问题。在调研期间找到的三种解决方法，

1. 使用Consul集群实现。Consul会使用自己的通讯协议，通过配置Docker的daemon.json用cluster-store参数来实现通讯（填写配置的时候需要绑定本机网卡）。这种方式需要额外部署高可用的Consul集群且需要与Docker进行强绑定；
2. 使用ETCD组网。虽然原理跟Consul一样但由于ETCD由C语言编写性能上会比Consul更出色。但由于本人能力有限搞了一阵子没搞定所以最终放弃了ETCD的实现方式；
3. 使用Docker Swarm组网。Docker从1.12.0版本开始这个Swarm模式就可以使用，只需做小小的调整即可实现；

综上对比，Swarm简单、易用且与Docker无缝结合是我选择它的最主要原因。考虑到后期还会有其他节点接入且接入方式不可控（有可能是云服务器，有可能是本地机房服务器），这就要求组网难度必须要低且可靠性强，Swarm完全能够满足我当前的需要。

1. Docker Swarm原理

从上图可以看出Docker Swarm提供了Cluster（集群管理模式）、node discovery(服务发现)、scheduler（滚动更新）等服务。其中通过服务发现能够记录到节点之间的访问地址，继而通过负载均衡自动寻址实现容器内部通讯。

2. Docker Swarm异地组网

异地组网达成标准为必须要求异地服务器能通过Docker容器内分配的IP相互“通讯”（本例则以“能ping通”作为达成通讯目标）。在这里我不会花篇幅去详细说明Swarm网络中LB转发和寻址的问题也不会深入overlay网络进行详解，这些网上一大把。我只分享能够立刻看到效果的东西就好......

2.1 服务器信息

为了验证Docker Swarm的可行性，本次例子采用了四台VM来做模拟

机器名称	机器ip	使用系统	Docker版本
node202	192.168.200.202	CentOS	18.09.3
node203	192.168.200.203	CentOS	18.06.3-ce
node204	192.168.200.204	CentOS	18.06.3-ce
node205	192.168.200.205	CentOS	18.06.3-ce

以上四台VM都是通过桥接来对局域网通讯的，这里做验证的情况下我们就先不考虑公网IP之间能否通讯的问题，如果服务器之间连最基本的通讯都无法实现的话就不用考虑组网问题了。

2.2 创建Swarm网络

这里使用node203作为主网络服务器，使用ssh登录服务器后执行

docker swarm init \
--advertise-addr 192.168.200.203

执行上面的语句后会得到其他工作节点加入需要命令

docker swarm join \
--token SWMTKN-1-5trsmvw8zfd84gxg9a71akao9hi0ro3tus6v2t8c2i0c9qtoi0-268axfn4r939lvj699whwiw7r 192.168.200.203:2377

若这命令丢失了的话可以在203机器上执行下面语句重新生成

docker swarm join-token manager

接下来将“docker swarm join --token”这段命令在需要成为节点的服务器中执行，全部执行后可以在node203服务器中通过docker node ls命令查看到节点加入情况，如下所示：

root@node203:/home/paohe/Documents/blockchain/vault/config# docker node ls
ID                            HOSTNAME            STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
swnvjvsxfeirdlaujbaznxhts     node202             Ready               Active                                  18.09.3
zb3nif68me9mvm0go3l2agkk7 *   node203             Ready               Active              Leader              18.06.3-ce
uk65wbkadgg6mwzk9h1yspdw4     node204             Ready               Active                                  18.06.3-ce
zx1elhm4oihcqm0bgggt2y283     node205             Ready               Active                                  18.06.3-ce

所需组网服务器都加入后通过docker network ls能够看到node203服务器上多了一个名为ingress的overlay网络，如下图：

root@node203:~# docker network ls
NETWORK ID          NAME                 DRIVER              SCOPE
f5a6b27119ef        bridge               bridge              local
e1902557eda0        docker_gwbridge      bridge              local
c5ad4fc3d434        host                 host                local
u5vjecempood        ingress              overlay             swarm
f96d226b8f69        none                 null                local
75f6834bc0cf        prometheus_default   bridge              local
173d62c10b82        vault_default        bridge              local

在这之后就能够创建自定义的Swarm网络了。

2.3 验证Overlay网络可用性

为了进一步验证Swarm网络的可用性，建立另一个overlay（覆盖网络）进行验证：

docker network create \
-d overlay \
--subnet=192.18.0.0/24 \
--gateway=192.18.0.254 \
--attachable besu_swarm

执行上面语句创建了一个名为besu_swarm的overlay网络并且设定了子网段范围从192.18.0.0开始，网关为192.18.0.254。在node203服务器执行docker network ls查看自定义网络besu_swarm，并且由于创建的是基于Swarm的overlay网络，因此node203服务器在创建besu_swarm后，自定义网络信息会同步到其他服务器中，如下所示：

root@node203:~# docker network ls
NETWORK ID          NAME                 DRIVER              SCOPE
z2w4r5fo1588        besu_swarm           overlay             swarm
f5a6b27119ef        bridge               bridge              local
e1902557eda0        docker_gwbridge      bridge              local
c5ad4fc3d434        host                 host                local
u5vjecempood        ingress              overlay             swarm
f96d226b8f69        none                 null                local
75f6834bc0cf        prometheus_default   bridge              local

网络创建后要验证子网IP是否可互相访问，为此需要下载一个busybox镜像并启动。如下所示：​

docker pull busybox:latest
docker run -itd \
--name=busybox1 \
--network=besunetwork busybox:latest /bin/sh

通过docker network inspect besu_swarm能够查看到busybox1的ip地址，busybox1的ip地址为192.18.0.1。接着如法炮制，在其他服务器也以同样的方式启动busybox2、busybox3、busybox4并且查看其ip地址，下图以busybox2为例如下图所示：

显示当前busybox2的ip地址是192.18.0.3。最后通过docker exec -it $containerid sh进入到busybox容器内部，执行ping命令查看容器内部是否互通。下面以busybox1和busybox2为例，如下图所示：

例1：busybox1 ping通 busybox2

例2：busybox2 ping通 busybox1

如上图所示，双方都可以通过子网ip实现互ping，至此异地组网已完成。