多个网络层面的需求
一开始为k8s集群搭建了calico网络，所有的容器都用calico对应的网卡进行通信。为了实现网络监控的清爽，想把管理组件，例如日志、统计、监控等组件挪到另外一个网络。于是产生一个想法把管理网和业务网分离，这里采用相对成熟的multus来粘合calico和flannel网络。让所有的业务容器走calico网络，让管理容器走flannel网络。其实hostlocal模式的容器也是走的管理网。
首先搭建一个默认网络
这里把calico作为默认网络，因此需要先搭建好calico网络，参见之前的博文如何搭建calico网络。
创建flannel集群
对Kubernetes v1.17+ 集群使用如下命令
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
该命令会在每个节点创建一个flannel容器
[root@k8s-master multus]# kubectl get pods -o wide -A
NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
kube-system calico-kube-controllers-65d7476764-qrp8r 1/1 Running 0 152m 10.200.113.137 k8s-node <none> <none>
kube-system calico-node-b62rz 1/1 Running 0 152m 192.168.31.128 k8s-master <none> <none>
kube-system calico-node-mchl8 1/1 Running 0 152m 192.168.31.129 k8s-node <none> <none>
kube-system coredns-7ff77c879f-j89ch 1/1 Running 1 75d 10.200.113.131 k8s-node <none> <none>
kube-system coredns-7ff77c879f-x47fq 1/1 Running 1 75d 10.200.235.194 k8s-master <none> <none>
kube-system etcd-k8s-master 1/1 Running 3 257d 192.168.31.128 k8s-master <none> <none>
kube-system kube-apiserver-k8s-master 1/1 Running 4 72d 192.168.31.128 k8s-master <none> <none>
kube-system kube-controller-manager-k8s-master 1/1 Running 0 72d 192.168.31.128 k8s-master <none> <none>
kube-system kube-flannel-ds-mqkmc 1/1 Running 0 2m12s 192.168.31.128 k8s-master <none> <none>
kube-system kube-flannel-ds-x62mj 1/1 Running 0 2m12s 192.168.31.129 k8s-node <none> <none>
这里有两点需要注意：
- flannel会自动读取k8s-api-server的cluster-cidr信息，也就是/etc/kubernetes/manifests/kube-controller-manager.yaml 文件中的--cluster-cidr参数，要注意这个地址的有效性，不能和其他网络的有重叠。例如不能和calico网络重叠也不能和--service-cluster-ip-range重叠。
- 如果想要flannel绑定指定网卡，可以修改kube-flannel.yml文件，添加--iface-regex或者--iface相关参数，如下所示：
args:
- --ip-masq
- --kube-subnet-mgr
- --iface-regex=172.18.(.*) //注意等号两边不能有空格，后面的正则表达式不用加引号
- --iface=eth0 //如果网卡名固定的话，最好用这句配置，并且iface可以覆盖iface-regex
创建完成后，查看flannel分配给容器的IP地址段：
[root@k8s-master multus]# kubectl exec -ti -n kube-system kube-flannel-ds-mqkmc cat /run/flannel/subnet.env
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl kubectl exec [POD] -- [COMMAND] instead.
FLANNEL_NETWORK=10.244.0.0/16
FLANNEL_SUBNET=10.244.0.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true
另外，查看flannel绑定的网卡：
[root@k8s-master ~]# ip -d link show flannel.1
18: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN mode DEFAULT group default
link/ether ba:ad:f0:ca:4e:6d brd ff:ff:ff:ff:ff:ff promiscuity 0
vxlan id 1 local 192.168.31.128 dev ens33 srcport 0 0 dstport 8472 nolearning ageing 300 udpcsum noudp6zerocsumtx noudp6zerocsumrx addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535
可以看到vtep设备flannel.1绑定的网卡是ens33，flannel.1会把数据包封装成vxlan数据包从ens33发送出去。
使用multus把calico和flannel粘合起来
multus可以管理多个网络插件，可以通过设置相关参数使得容器使用多个网卡而且每个网卡使用不同的网络插件，也可以指定使用一种网络。如果什么都不指定就使用默认网络。
创建multus集群
kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/multus-cni/master/images/multus-daemonset.yml
该命令会创建multus集群，每个节点创建一个multus容器。在任意一个节点上查看cni配置文件，如下所示：
[root@k8s-master ~]# ls /etc/cni/net.d/
00-multus.conf 10-calico.conflist 10-flannel.conflist calico-kubeconfig multus.d
[root@k8s-master ~]#
[root@k8s-master ~]# cat /etc/cni/net.d/00-multus.conf
{ "cniVersion": "0.3.1", "name": "multus-cni-network", "type": "multus", "capabilities": {"portMappings": true, "bandwidth": true}, "kubeconfig": "/etc/cni/net.d/multus.d/multus.kubeconfig", "delegates": [ { "name": "k8s-pod-network", "cniVersion": "0.3.1", "plugins": [ { "type": "calico", "log_level": "info", "log_file_path": "/var/log/calico/cni/cni.log", "datastore_type": "kubernetes", "nodename": "k8s-master", "mtu": 0, "ipam": { "type": "calico-ipam" }, "policy": { "type": "k8s" }, "kubernetes": { "kubeconfig": "/etc/cni/net.d/calico-kubeconfig" } }, { "type": "portmap", "snat": true, "capabilities": {"portMappings": true} }, { "type": "bandwidth", "capabilities": {"bandwidth": true} } ] } ] }
[root@k8s-master ~]#
可以看出cni配置文件中有calico、flannel和multus.其中谁的序号小就用谁，这里使用multus，而multus配置文件中写明使用的默认网络插件是calico.
创建使用calico网络的容器
因为multus使用的默认网络是calico，因此像往常一样不用修改任何文件创建出来的容器就是使用的calico网络插件。当然不能在yaml文件中指定使用hostlocal网络"hostNetwork: true".
创建使用flannel网络的容器
首先创建一个资源：
cat <<EOF | kubectl create -f -
apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
name: flannel-conf
spec:
config: \'{
"cniVersion": "0.3.0",
"type": "flannel",
"delegate": {
"isDefaultGateway": true
}
}\'
EOF
使用命令kubectl get networkattachmentdefinition.k8s.cni.cncf.io -A查看该资源。
然后在容器中添加annotation:
[root@k8s-master multus]# cat flannel-pod-128.yml
---
apiVersion: v1
kind: Pod
metadata:
name: flannelpod128
namespace: net
annotations:
v1.multus-cni.io/default-network: default/flannel-conf
spec:
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: kubernetes.io/hostname
operator: In
values:
- k8s-master
containers:
- name: samplepod
command: ["/bin/bash", "-c", "sleep 2000000000000"]
image: dougbtv/centos-network
ports:
- containerPort: 80
[root@k8s-master multus]#
使用以上yaml文件就可以创建出一个使用flannel网络的容器。
创建一个双网卡容器，分别使用calico和flannel
默认网络是calico，如果再指定使用一个网络那么就会在容器里面创建两个网卡。例如，使用如下的yaml文件，创建pod
[root@k8s-master multus]# cat example.yml
apiVersion: v1
kind: Pod
metadata:
name: samplepod
annotations:
k8s.v1.cni.cncf.io/networks: default/flannel-conf
spec:
containers:
- name: samplepod
command: ["/bin/bash", "-c", "sleep 2000000000000"]
image: dougbtv/centos-network
[root@k8s-master multus]#
当容器运行起来之后可以看到，容器里面有两张网卡，其中eth0是calico管理的，net1是flannel管理的：
[root@k8s-master multus]# kubectl get pods -o wide -A|grep sample
default samplepod 1/1 Running 0 14s 10.200.235.196 k8s-master <none> <none>
[root@k8s-master multus]# kubectl exec -ti -n default samplepod ip a
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl kubectl exec [POD] -- [COMMAND] instead.
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: tunl0@NONE: <NOARP> mtu 1480 qdisc noop state DOWN qlen 1000
link/ipip 0.0.0.0 brd 0.0.0.0
4: eth0@if23: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1480 qdisc noqueue state UP
link/ether 1a:c9:1e:a8:67:b6 brd ff:ff:ff:ff:ff:ff link-netnsid 0
inet 10.200.235.196/32 brd 10.200.235.196 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::18c9:1eff:fea8:67b6/64 scope link
valid_lft forever preferred_lft forever
6: net1@if5: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP
link/ether 66:b7:a4:91:ec:50 brd ff:ff:ff:ff:ff:ff link-netnsid 0
inet 10.244.0.4/24 brd 10.244.0.255 scope global net1
valid_lft forever preferred_lft forever
inet6 fe80::64b7:a4ff:fe91:ec50/64 scope link
valid_lft forever preferred_lft forever
[root@k8s-master multus]#
网络连通性
这里使用了calico和flannel两种网络插件，数据通路不一样，但是跨节点都是相互通的，如下所示:
[root@k8s-master multus]# kubectl get pods -o wide -A|grep pod
net calicopod128 1/1 Running 0 6s 10.200.235.195 k8s-master <none> <none>
net calicopod129 1/1 Running 0 9s 10.200.113.138 k8s-node <none> <none>
net flannelpod128 1/1 Running 0 4m33s 10.244.0.2 k8s-master <none> <none>
net flannelpod129 1/1 Running 0 4m14s 10.244.1.2 k8s-node <none> <none>
[root@k8s-master multus]#
这四个Pod两两之间在同一物理机的不同虚拟机上是可以ping通的，但是在真实环境中数据包跨节点后到达flannel绑定的网卡或者calico绑定的网卡就不再转发给容器的网卡了。按照本地路由是应该转发给容器的网卡的，但就是不转发。我大胆猜测一下应该是数据来回通路不一致导致的数据阻断。你是否也遇到过这种情况，欢迎大家在留言区交流。为了谨慎起见，不建议calico和flannel网络之间有通信，而使之起到网络分流的作用。