Docker容器管理平台Rancher高可用部署——看这篇就够了

记得刚接触Rancher时，看了官方文档云里雾里，跟着官网文档部署了高可用Rancher，发现不管怎么折腾都无法部署成功（相信已尝试的朋友也有类似的感觉），今天腾出空来写个总结，给看到的朋友留个参考（亲测可用！按照下面步骤操作不会出现部署超时、部署完成后无法打开等问题）。

也许有人会问：什么是RANCHER？套用官网的话：Rancher 是为使用容器的公司打造的容器管理平台。

也许有人又会问：用K8s不香吗，为什么要加一层RANCHER？其实K8s是比较复杂的，尤其是各组件的版本选择以及大规模的使用场景上，需要一个管理平台降低容器化落地的复杂度。

【说明】：

• 当前Rancher版本为：V2.5.5 ;
• 若只想通过Docker安装单机版体验，可执行：

docker run -d --privileged --restart=unless-stopped -p 80:80 -p 443:443 --privileged rancher/rancher:latest 

• 下面部署的Rancher集群证书均使用自签名私有证书。
• 中文官网文档：https://docs.rancher.cn/rancher2/ 。
• 通过Rancher导入K8s集群时，需要预先在目标服务器上安装Docker，Docker的安装请参考【附录】。

【规划】：

• 用2台centos7部署k3s+rancher（做高可用），IP分别为：192.168.21.30，192.168.21.31；
• 用1台centos部署mysql5.7存储rancher数据，同时部署nginx代理2台rancher，IP为：192.168.20.101；
• 配置dns域名：rancher.test.cn - 192.168.20.101 ;

【安装K3s（K8s）】

　　说明：什么是K3s？K3s是K8s的精简版，很多时候我们并不需要用到K8s的所有功能，Rancher公司帮我们做了一款精简版的K8s，即K3s，推荐在K3s上部署Rancher。　　

　　一、准备工作

　　1. 内核升级：

　　　　建议所有K8s节点（包括K3s、k8s master worker节点）内核均升级到最新稳定版（目前是kernel5.4），好处请自行Google。

　　　　参考：https://github.com/easzlab/kubeasz/blob/master/docs/guide/kernel_upgrade.md

　　　　centos7内核升级步骤：

# 载入公钥
rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
# 安装ELRepo
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
# 载入elrepo-kernel元数据
yum --disablerepo=\* --enablerepo=elrepo-kernel repolist
# 查看可用的rpm包
yum --disablerepo=\* --enablerepo=elrepo-kernel list kernel*
# 安装长期支持版本的kernel
yum --disablerepo=\* --enablerepo=elrepo-kernel install -y kernel-lt.x86_64
# 删除旧版本工具包
yum remove kernel-tools-libs.x86_64 kernel-tools.x86_64 -y
# 安装新版本工具包
yum --disablerepo=\* --enablerepo=elrepo-kernel install -y kernel-lt-tools.x86_64

#查看默认启动顺序
awk -F\' '$1=="menuentry " {print $2}' /etc/grub2.cfg
CentOS Linux (4.4.183-1.el7.elrepo.x86_64) 7 (Core)
CentOS Linux (3.10.0-327.10.1.el7.x86_64) 7 (Core)
CentOS Linux (0-rescue-c52097a1078c403da03b8eddeac5080b) 7 (Core)
#默认启动的顺序是从0开始，新内核是从头插入（目前位置在0，而4.4.4的是在1），所以需要选择0。
grub2-set-default 0
#重启并检查
reboot

　　2. 修改主机名：

hostnamectl set-hostname k3s01
echo "127.0.0.1  k3s01" >> /etc/hosts

　　3. 配置dns或者在每台服务器及个人电脑上添加hosts解析（192.168.20.101  rancher.test.cn）；

　　4. 2台rancher节点上安装helm：

wget http://rancher-mirror.cnrancher.com/helm/v3.4.2/helm-v3.4.2-linux-amd64.tar.gz
tar zxf helm-v3.4.2-linux-amd64.tar.gz
cp linux-amd64/helm /usr/local/sbin/

　　5. 部署mysql5.7（具体请百度），创建"rancher"库，创建用户rancher，密码为rancher，mysql端口为61306。

　　6. 部署nginx（我是直接在mysql5.7服务器上部署，即IP为192.168.20.101这台机器），代理配置如下：

[root@rancher-proxy ~]# cat /etc/nginx/nginx.conf
worker_processes 4;
worker_rlimit_nofile 40000;

include /usr/share/nginx/modules/*.conf;

events {
    worker_connections 8192;
}

stream {
    upstream rancher_servers_http {
        least_conn;
        server 192.168.21.30:80 max_fails=3 fail_timeout=5s;
        server 192.168.21.31:80 max_fails=3 fail_timeout=5s;
    }
    server {
        listen 80;
        proxy_pass rancher_servers_http;
    }

    upstream rancher_servers_https {
        least_conn;
        server 192.168.21.30:443 max_fails=3 fail_timeout=5s;
        server 192.168.21.31:443 max_fails=3 fail_timeout=5s;
    }
    server {
        listen     443;
        proxy_pass rancher_servers_https;
    }

    upstream rancher_servers_k8sapi {
        least_conn;
        server 192.168.21.30:6443 max_fails=3 fail_timeout=5s;
        server 192.168.21.31:6443 max_fails=3 fail_timeout=5s;
    }
    server {
        listen     6443;
        proxy_pass rancher_servers_k8sapi;
    }
}

　　二、部署K3s

　　1. 分别在2台Rancher节点上，运行以下命令以启动 K3s Server 并将其连接到外部数据库:

curl -sfL http://rancher-mirror.cnrancher.com/k3s/k3s-install.sh | INSTALL_K3S_EXEC="--tls-san rancher.test.cn" INSTALL_K3S_MIRROR=cn sh -s - server --datastore-endpoint="mysql://rancher:rancher@tcp(192.168.20.101:61306)/rancher"

　　说明：需要增加 INSTALL_K3S_EXEC="--tls-san rancher.test.cn" 这段，否则集群证书不认rancher.test.cn或者对应的IP。

　　参考：https://github.com/k3s-io/k3s/issues/1381

　　2. k3s创建成功确认：

　　分别在2台节点上确认k3s是否创建成功：

k3s kubectl get nodes

　　测试集群容器的运行状况：

k3s kubectl get pods --all-namespaces

　　此时会发现系统一直在创建镜像（网络超时），需要对容器加速。请参考第4步（镜像加速）。

　　3. 保存并使用 kubeconfig 文件：

　　备份/etc/rancher/k3s/k3s.yaml，并将其拷贝一份命名成~/.kube/config：

cp /etc/rancher/k3s/k3s.yaml ~/.kube/config

　　修改~/.kube/config配置文件中的server参数为rancher.test.cn，如下：

[root@k3s02 ~]# cat ~/.kube/config
apiVersion: v1
clusters:
- cluster:
    ……
    server: https://rancher.test.cn:6443
  ……

　　结果： 您现在可以使用kubectl来管理您的 K3s 集群。如果您有多个 kubeconfig 文件，可以在使用kubectl时通过传递文件路径来指定要使用的kubeconfig文件：

kubectl --kubeconfig ~/.kube/config get pods --all-namespaces

　　4. 镜像加速

cat >> /etc/rancher/k3s/registries.yaml <<EOF
mirrors:
  "docker.io":
    endpoint:
      - "https://fogjl973.mirror.aliyuncs.com"
      - "https://registry-1.docker.io"
EOF

systemctl restart k3s

　　再次执行下面命令，查看pod状态，发现各镜像开始下载：

k3s kubectl get pods --all-namespaces

【安装RANCHER】

　　1. 在2台k3s节点上确保安装下面CLI工具：

• kubectl - Kubernetes 命令行工具；
• helm，可到helm官网下载二进制包直接使用；

　　2. 添加 Helm Chart 仓库:

helm repo add rancher-stable http://rancher-mirror.oss-cn-beijing.aliyuncs.com/server-charts/stable

　　3.为 Rancher 创建 Namespace:

kubectl create namespace cattle-system

　　4.使用私有自签名证书:

　　使用自签名证书可以不用安装cert-manager，从而避免安装cert-manager很慢。

　　创建自动创建证书的脚本（脚本内容摘抄自Rancher官网，命名为create_self-signed-cert.sh）：

#!/bin/bash -e

help ()
{
    echo  ' ================================================================ '
    echo  ' --ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；'
    echo  ' --ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；'
    echo  ' --ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（SSL_TRUSTED_DOMAIN）,多个扩展域名用逗号隔开；'
    echo  ' --ssl-size: ssl加密位数，默认2048；'
    echo  ' --ssl-cn: 国家代码(2个字母的代号),默认CN;'
    echo  ' 使用示例:'
    echo  ' ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \ '
    echo  ' --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650'
    echo  ' ================================================================'
}

case "$1" in
    -h|--help) help; exit;;
esac

if [[ $1 == '' ]];then
    help;
    exit;
fi

CMDOPTS="$*"
for OPTS in $CMDOPTS;
do
    key=$(echo ${OPTS} | awk -F"=" '{print $1}' )
    value=$(echo ${OPTS} | awk -F"=" '{print $2}' )
    case "$key" in
        --ssl-domain) SSL_DOMAIN=$value ;;
        --ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;
        --ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;
        --ssl-size) SSL_SIZE=$value ;;
        --ssl-date) SSL_DATE=$value ;;
        --ca-date) CA_DATE=$value ;;
        --ssl-cn) CN=$value ;;
    esac
done

# CA相关配置
CA_DATE=${CA_DATE:-3650}
CA_KEY=${CA_KEY:-cakey.pem}
CA_CERT=${CA_CERT:-cacerts.pem}
CA_DOMAIN=cattle-ca

# ssl相关配置
SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
SSL_DOMAIN=${SSL_DOMAIN:-'www.rancher.local'}
SSL_DATE=${SSL_DATE:-3650}
SSL_SIZE=${SSL_SIZE:-2048}

## 国家代码(2个字母的代号),默认CN;
CN=${CN:-CN}

SSL_KEY=$SSL_DOMAIN.key
SSL_CSR=$SSL_DOMAIN.csr
SSL_CERT=$SSL_DOMAIN.crt

echo -e "\033[32m ---------------------------- \033[0m"
echo -e "\033[32m       | 生成 SSL Cert |       \033[0m"
echo -e "\033[32m ---------------------------- \033[0m"

if [[ -e ./${CA_KEY} ]]; then
    echo -e "\033[32m ====> 1. 发现已存在CA私钥，备份"${CA_KEY}"为"${CA_KEY}"-bak，然后重新创建 \033[0m"
    mv ${CA_KEY} "${CA_KEY}"-bak
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
else
    echo -e "\033[32m ====> 1. 生成新的CA私钥 ${CA_KEY} \033[0m"
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
fi

if [[ -e ./${CA_CERT} ]]; then
    echo -e "\033[32m ====> 2. 发现已存在CA证书，先备份"${CA_CERT}"为"${CA_CERT}"-bak，然后重新创建 \033[0m"
    mv ${CA_CERT} "${CA_CERT}"-bak
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
else
    echo -e "\033[32m ====> 2. 生成新的CA证书 ${CA_CERT} \033[0m"
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
fi

echo -e "\033[32m ====> 3. 生成Openssl配置文件 ${SSL_CONFIG} \033[0m"
cat > ${SSL_CONFIG} <<EOM
[req]
req_extensions = v3_req
distinguished_name = req_distinguished_name
[req_distinguished_name]
[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = nonRepudiation, digitalSignature, keyEncipherment
extendedKeyUsage = clientAuth, serverAuth
EOM

if [[ -n ${SSL_TRUSTED_IP} || -n ${SSL_TRUSTED_DOMAIN} ]]; then
    cat >> ${SSL_CONFIG} <<EOM
subjectAltName = @alt_names
[alt_names]
EOM
    IFS=","
    dns=(${SSL_TRUSTED_DOMAIN})
    dns+=(${SSL_DOMAIN})
    for i in "${!dns[@]}"; do
      echo DNS.$((i+1)) = ${dns[$i]} >> ${SSL_CONFIG}
    done

    if [[ -n ${SSL_TRUSTED_IP} ]]; then
        ip=(${SSL_TRUSTED_IP})
        for i in "${!ip[@]}"; do
          echo IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}
        done
    fi
fi

echo -e "\033[32m ====> 4. 生成服务SSL KEY ${SSL_KEY} \033[0m"
openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}

echo -e "\033[32m ====> 5. 生成服务SSL CSR ${SSL_CSR} \033[0m"
openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}

echo -e "\033[32m ====> 6. 生成服务SSL CERT ${SSL_CERT} \033[0m"
openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT} \
    -CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT} \
    -days ${SSL_DATE} -extensions v3_req \
    -extfile ${SSL_CONFIG}

echo -e "\033[32m ====> 7. 证书制作完成 \033[0m"
echo
echo -e "\033[32m ====> 8. 以YAML格式输出结果 \033[0m"
echo "----------------------------------------------------------"
echo "ca_key: |"
cat $CA_KEY | sed 's/^/  /'
echo
echo "ca_cert: |"
cat $CA_CERT | sed 's/^/  /'
echo
echo "ssl_key: |"
cat $SSL_KEY | sed 's/^/  /'
echo
echo "ssl_csr: |"
cat $SSL_CSR | sed 's/^/  /'
echo
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo

echo -e "\033[32m ====> 9. 附加CA证书到Cert文件 \033[0m"
cat ${CA_CERT} >> ${SSL_CERT}
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo

echo -e "\033[32m ====> 10. 重命名服务证书 \033[0m"
echo "cp ${SSL_DOMAIN}.key tls.key"
cp ${SSL_DOMAIN}.key tls.key
echo "cp ${SSL_DOMAIN}.crt tls.crt"
cp ${SSL_DOMAIN}.crt tls.crt

　　生成证书：

./create_self-signed-cert.sh --ssl-domain=rancher.test.cn --ssl-trusted-domain=rancher.test.cn --ssl-trusted-ip=192.168.20.101,192.168.21.30,192.168.21.31 --ssl-size=2048 --ssl-date=3650

　　生效：

kubectl -n cattle-system create secret tls tls-rancher-ingress   --cert=tls.crt   --key=tls.key
kubectl -n cattle-system create secret generic tls-ca   --from-file=cacerts.pem=./cacerts.pem

　　5.通过Helm安装Rancher

helm install rancher rancher-stable/rancher   --namespace cattle-system   --set hostname=rancher.test.cn   --set ingress.tls.source=secret   --set privateCA=true

　　说明：若执行该步骤遇到报错：

Error: Kubernetes cluster unreachable: Get "http://localhost:8080/version?timeout=32s": dial tcp 127.0.0.1:8080: connect: connection refused

　　可以执行下面步骤：

export KUBECONFIG=~/.kube/config

　　检查：

kubectl get pods --all-namespaces
helm ls --all-namespaces

　　6.验证 Rancher Server 是否已成功部署:

　　检查 Rancher Server 是否运行成功：

kubectl -n cattle-system rollout status deploy/rancher

　　若出现下面信息（successfully rolled out）则表示成功，否则继续等待：

Waiting for deployment "rancher" rollout to finish: 0 of 3 updated replicas are available...
deployment "rancher" successfully rolled out

　　检查 deployment 的状态：

kubectl -n cattle-system get deploy rancher

　　若出现下面信息则表示安装成功（DESIRED和AVAILABLE应该显示相同的个数）：

NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE
rancher 3 3 3 3 3m

恭喜！

　　到此安装完成，可以通过浏览器访问 http://rancher.test.cn

　　激动人心的时刻！

感谢RANCHER公司为我们提供了这款开源、简洁易用、功能强大的容器管理平台！

【附录】

安装Docker：

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -P /etc/yum.repos.d/ http://mirrors.aliyun.com/repo/epel-7.repo
yum install docker-ce -y
docker --version
sudo systemctl start docker
sudo systemctl enable docker
sudo systemctl status docker

容器加速：

[root@rancher-work02 ~]# cat /etc/docker/daemon.json
{
 "registry-mirrors":["https://6kx4zyno.mirror.aliyuncs.com"]
}

生效容器加速配置：

systemctl daemon-reload
systemctl restart docker

恭喜！

Docker安装完毕。