ARM架构安装Kubernetes集群

时间：2021-09-07 05:16:17

背景

类型 版本
操作系统 CentOS Linux release 7.6.1810 (AltArch)
内核 Linux master 4.18.0-80.7.2.el7.aarch64
硬件配置 8核16G内存 * 2台
计算机名 master、node1
K8S版本 1.14.2
计算机名 公网IP 私网IP
master 116.63.180.97 192.168.0.113
node1 116.63.177.54 192.168.0.226

说明：

  1. 搭建K8s集群，每台节点均需要按照文档安装Docker及K8s的全部组件。
  2. 为验证集群搭建功能，至少需要两个节点。如果要验证亲和性调度功能，至少需要三台节点，安装配置工作在每台节点都需要执行。
  3. Master为集群管理节点，node1为集群计算节点。

一、配置华为云yum源

1.1 配置华为云yum源。

cat <<EOF > /etc/yum.repos.d/kubernetes.repo

[kubernetes]

name=Kubernetes

baseurl=https://mirrors.huaweicloud.com/kubernetes/yum/repos/kubernetes-el7-aarch64

enabled=1

gpgcheck=1

repo_gpgcheck=1

gpgkey=http://mirrors.huaweicloud.com/kubernetes/yum/doc/yum-key.gpg

        http://mirrors.huaweicloud.com/kubernetes/yum/doc/rpm-package-key.gpg

EOF

说明：

若没有找到需要的k8s版本，可自行配置阿里yum源

1.2 刷新yum缓存。

yum makecache

二、安装配置K8S

主节点和计算节点都需要安装配置K8s。

2.1 安装Docker

2.1.1 安装yum-utils软件包并设置稳定的存储库。

yum install -y yum-utils

yum-config-manager \

    --add-repo \

    https://download.docker.com/linux/centos/docker-ce.repo

2.1.2 安装特定版本Docker

要安装特定版本的Docker Engine，可以先通过命名查看存储库，列出可用版本，然后选择并安装：

yum list docker-ce --showduplicates | sort -r

yum list docker-ce-cli --showduplicates | sort -r

然后根据版本号安装（本文选择），例如：

yum install docker-ce-18.09.9-3.el7 docker-ce-cli-18.09.9-3.el7 containerd.io

也可以安装最新版，例如直接使用方式，本文选择的不是最新版本，安装的是指定版本18.09

yum install docker-ce docker-ce-cli containerd.io

2.1.3 安装完成启动

systemctl start docker

2.1.4 通过docker version查看版本

ARM架构安装Kubernetes集群

2.1.5 设置docker开机启动

systemctl enable docker

2.2 安装基础组件

2.2.1 启用NET.BRIDGE.BRIDGE-NF-CALL-IPTABLES内核选项。

sysctl -w net.bridge.bridge-nf-call-iptables=1

2.2.2 禁用交换分区。

swapoff -a

cp -p /etc/fstab /etc/fstab.bak$(date '+%Y%m%d%H%M%S')

sed -i "s/\/dev\/mapper\/centos-swap/\#\/dev\/mapper\/centos-swap/g" /etc/fstab

2.2.3 安装K8s组件。

yum install -y kubelet kubeadm kubectl kubernetes-cni

2.2.4 查看安装情况。

rpm -qa | grep kubelet

rpm -qa | grep kubeadm

rpm -qa | grep kubectl

rpm -qa | grep kubernetes-cni

例如看到如下内容代表安装成功

[root@master aarch64]# rpm -qa | grep kubelet

kubelet-1.14.2-0.aarch64

[root@master aarch64]# rpm -qa | grep kubeadm

kubeadm-1.14.2-0.aarch64

[root@master aarch64]# rpm -qa | grep kubectl

kubectl-1.14.2-0.aarch64

[root@master aarch64]# rpm -qa | grep kubernetes-cn

kubernetes-cni-0.7.5-0.aarch64

2.2.5 设置iptables。

echo "net.bridge.bridge-nf-call-iptables=1" > /etc/sysctl.d/k8s.conf

2.2.6 开机启动kubelet服务。

systemctl enable kubelet

2.3 通过Docker下载其它组件

2.3.1 查看下载节点初始化所需镜像。

kubeadm config images list
[root@master aarch64]# kubeadm config images list

I1208 09:21:05.327540    2544 version.go:96] could not fetch a Kubernetes version from the internet: unable to get URL "https://dl.k8s.io/release/stable-1.txt": Get https://storage.googleapis.com/kubernetes-release/release/stable-1.txt: net/http: request canceled (Client.Timeout exceeded while awaiting headers)

I1208 09:21:05.327591    2544 version.go:97] falling back to the local client version: v1.14.2

k8s.gcr.io/kube-apiserver:v1.14.2

k8s.gcr.io/kube-controller-manager:v1.14.2

k8s.gcr.io/kube-scheduler:v1.14.2

k8s.gcr.io/kube-proxy:v1.14.2

k8s.gcr.io/pause:3.1

k8s.gcr.io/etcd:3.3.10

k8s.gcr.io/coredns:1.3.1

K8s所需镜像版本有可能会变动，因此查看列表并以此匹配需要下载的Docker镜像，文档中的镜像版本仅做参考。

切忌直接把非arm架构机器上的镜像直接复制过来使用

2.3.2 从DockerHub上下载镜像（速度有点慢）

命令如下所示

docker pull docker.io/mirrorgooglecontainers/kube-apiserver-arm64:v1.14.2

docker pull docker.io/mirrorgooglecontainers/kube-controller-manager-arm64:v1.14.2

docker pull docker.io/mirrorgooglecontainers/kube-scheduler-arm64:v1.14.2

docker pull docker.io/mirrorgooglecontainers/kube-proxy-arm64:v1.14.2

docker pull docker.io/mirrorgooglecontainers/pause-arm64:3.1

docker pull docker.io/mirrorgooglecontainers/etcd-arm64:3.3.10

docker pull docker.io/coredns/coredns:1.3.1

下载完成后可以查看本地镜像

[root@master aarch64]# docker images

REPOSITORY                                             TAG                 IMAGE ID            CREATED             SIZE

mirrorgooglecontainers/kube-proxy-arm64                v1.14.2             5227f1c3c8a7        19 months ago       82.7MB

mirrorgooglecontainers/kube-apiserver-arm64            v1.14.2             091f78b1b081        19 months ago       207MB

mirrorgooglecontainers/kube-controller-manager-arm64   v1.14.2             e0fa3d206e49        19 months ago       155MB

mirrorgooglecontainers/kube-scheduler-arm64            v1.14.2             485238b2c4a5        19 months ago       82.2MB

coredns/coredns                                        1.3.1               7e8edeee9a1e        23 months ago       37.4MB

mirrorgooglecontainers/etcd-arm64                      3.3.10              ad99d3ead043        2 years ago         300MB

mirrorgooglecontainers/pause-arm64                     3.1                 6cf7c80fe444        2 years ago         525kB

ARM架构安装Kubernetes集群

2.3.3 修改已下载的镜像标签。

docker tag mirrorgooglecontainers/kube-apiserver-arm64:v1.14.2 k8s.gcr.io/kube-apiserver:v1.14.2

docker tag mirrorgooglecontainers/kube-controller-manager-arm64:v1.14.2 k8s.gcr.io/kube-controller-manager:v1.14.2

docker tag mirrorgooglecontainers/kube-scheduler-arm64:v1.14.2 k8s.gcr.io/kube-scheduler:v1.14.2

docker tag mirrorgooglecontainers/kube-proxy-arm64:v1.14.2 k8s.gcr.io/kube-proxy:v1.14.2

docker tag mirrorgooglecontainers/pause-arm64:3.1 k8s.gcr.io/pause:3.1

docker tag mirrorgooglecontainers/etcd-arm64:3.3.10 k8s.gcr.io/etcd:3.3.10

docker tag coredns/coredns:1.3.1 k8s.gcr.io/coredns:1.3.1

说明：

需要将镜像repository修改与kubeadm列出的镜像名保持一致。

2.3.4 查看K8s的Docker镜像组件

docker images | grep k8s
[root@master aarch64]# docker images | grep k8s

k8s.gcr.io/kube-apiserver                              v1.14.2             091f78b1b081        19 months ago       207MB

k8s.gcr.io/kube-controller-manager                     v1.14.2             e0fa3d206e49        19 months ago       155MB

k8s.gcr.io/kube-scheduler                              v1.14.2             485238b2c4a5        19 months ago       82.2MB

k8s.gcr.io/kube-proxy                                  v1.14.2             5227f1c3c8a7        19 months ago       82.7MB

k8s.gcr.io/coredns                                     1.3.1               7e8edeee9a1e        23 months ago       37.4MB

k8s.gcr.io/etcd                                        3.3.10              ad99d3ead043        2 years ago         300MB

k8s.gcr.io/pause                                       3.1                 6cf7c80fe444        2 years ago         525kB

2.3.5 删除旧镜像。

命令如下所示

docker rmi mirrorgooglecontainers/kube-apiserver-arm64:v1.14.2

docker rmi mirrorgooglecontainers/kube-controller-manager-arm64:v1.14.2

docker rmi mirrorgooglecontainers/kube-scheduler-arm64:v1.14.2

docker rmi mirrorgooglecontainers/kube-proxy-arm64:v1.14.2

docker rmi mirrorgooglecontainers/pause-arm64:3.1

docker rmi mirrorgooglecontainers/etcd-arm64:3.3.10

docker rmi coredns/coredns:1.3.1

删除后再次查看本地镜像

[root@master aarch64]# docker images

REPOSITORY                           TAG                 IMAGE ID            CREATED             SIZE

k8s.gcr.io/kube-scheduler            v1.14.2             485238b2c4a5        19 months ago       82.2MB

k8s.gcr.io/kube-proxy                v1.14.2             5227f1c3c8a7        19 months ago       82.7MB

k8s.gcr.io/kube-apiserver            v1.14.2             091f78b1b081        19 months ago       207MB

k8s.gcr.io/kube-controller-manager   v1.14.2             e0fa3d206e49        19 months ago       155MB

k8s.gcr.io/coredns                   1.3.1               7e8edeee9a1e        23 months ago       37.4MB

k8s.gcr.io/etcd                      3.3.10              ad99d3ead043        2 years ago         300MB

k8s.gcr.io/pause                     3.1                 6cf7c80fe444        2 years ago         525kB

三、部署K8S集群

3.1 配置hosts文件

主节点和计算节点都需要配置hosts文件。

执行vi /etc/hosts命令，修改hosts文件，添加集群所有节点的ip及hostname信息。

192.168.0.113  master master

192.168.0.226  node1 node1

每台节点的/etc/hosts文件都要修改。

3.2 配置主节点(master)

说明：重复搭建集群时，请先执行kubeadm reset命令，清除旧的K8s集群设置。

在主节点上执行集群初始化命令。

3.2.1 在主节点上执行集群初始化命令

kubeadm init --kubernetes-version=1.14.2  --service-cidr=10.1.0.0/16 --pod-network-cidr=10.244.0.0/16

当看到如下信息时代表初始化成功

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube

  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.

Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:

  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.0.113:6443 --token all7y6.hxs2yemaucku9dct \

    --discovery-token-ca-cert-hash sha256:7e1b11d2715fd87d8aeec9a1924c87b68d36da35392ccee57b0581993dfeb821

黄框信息表示主节点配置集群需要执行的命令，红框信息表示计算节点加入集群的token命令，请保存该段命令。

ARM架构安装Kubernetes集群

说明：

  1. 计算节点不需要执行集群初始化操作。

  2. 如果在主节点初始化的时候提示：

    /proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1

    可以通过执行echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables命令将其置为1（vim不可修改此文件）。

  3. 执行该操作时，建议排查是否有配置代理（执行env查看），避免kubeadm init初始化超时失败，删除代理的操作：

    export -n http_proxy

    export -n https_proxy

    export -n no_proxy

    --pod-network-cidr > 3.选项用于指定kubernetes网络可以使用的IP地址段，由于后续使用Flannel网络插件，该插件固定使用的IP段为：10.244.0.0/16 。

3.2.2 配置集群

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

export KUBECONFIG=/etc/kubernetes/admin.conf

3.2.3 在主节点查看集群节点信息。

kubectl get node
[root@master aarch64]# kubectl get nodes

NAME     STATUS     ROLES    AGE   VERSION

master   NotReady   master   97s   v1.14.2

3.2.4 保存主节点生成的加入集群信息。

该信息在成功初始化主节点后生成并打印，集群信息如下所示：

kubeadm join 192.168.0.113:6443 --token all7y6.hxs2yemaucku9dct \

    --discovery-token-ca-cert-hash sha256:7e1b11d2715fd87d8aeec9a1924c87b68d36da35392ccee57b0581993dfeb821

注意：

该token命令可以用于二十四小时内计算节点加入集群，若token超时，可在K8S主节点通过kubeadm token create --print-join-command命令进行重新生成

3.3 配置计算点(node1)

3.3.1 计算节点加入集群

计算节点执行

kubeadm join 192.168.0.113:6443 --token all7y6.hxs2yemaucku9dct \

    --discovery-token-ca-cert-hash sha256:7e1b11d2715fd87d8aeec9a1924c87b68d36da35392ccee57b0581993dfeb821

ARM架构安装Kubernetes集群

3.3.2 等待1分钟后，在主节点（master）执行kubectl get nodes

[root@master opt]# kubectl get nodes

NAME     STATUS     ROLES    AGE    VERSION

master   Ready      master   3h7m   v1.14.2

node1    NotReady   <none>   83s    v1.14.2

3.3.3 在主节点和计算节点上查看kubelet服务状态

systemctl status kubelet

主节点

ARM架构安装Kubernetes集群

子节点

ARM架构安装Kubernetes集群

3.4 添加Flannel网络插件

3.4.1 在主节点上执行如下命令安装Flannel网络插件。

当前版本1.14版本执行（如果无法下载，可以查看网盘附件进行本地化安装，下载地址：https://pan.baidu.com/s/1L1epcWiEI7v2C4bHo2nx3Q 提取码：1fsh）

kubectl apply -f https://gitee.com/mirrors/flannel/blob/master/Documentation/kube-flannel-old.yaml

注意：对于 Kubernetes 版本 v1.17+

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

3.4.2 安装完成后，执行kubectl get pod -n kube-system，看到kube-flannel正常运行即可

[root@master opt]# kubectl get pod -n kube-system

NAME                             READY   STATUS    RESTARTS   AGE

coredns-fb8b8dccf-sgzqj          1/1     Running   0          38m

coredns-fb8b8dccf-xpx5x          1/1     Running   0          38m

etcd-master                      1/1     Running   0          37m

kube-apiserver-master            1/1     Running   0          37m

kube-controller-manager-master   1/1     Running   0          37m

kube-flannel-ds-arm64-wxc6f      1/1     Running   0          98s

kube-proxy-tzb4r                 1/1     Running   0          38m

kube-scheduler-master            1/1     Running   0          37m

这样我们K8S集群就搭建完成了。

四、（选配）安装Kubernetes Dashboard插件

主节点上操作即可

4.1 用openssl生成自签证书(有第三方证书可跳过)

生成证书请求的key

openssl genrsa -out dashboard.key 2048

生成证书请求

openssl req -new -out dashboard.csr -key dashboard.key -subj '/CN=<your_ip>'

<your_ip>换成自己的ip或域名。

生成自签证书

openssl x509 -days 3650 -req -in dashboard.csr -signkey dashboard.key -out dashboard.crt

这里指定了过期时间3650天，默认365天

4.2 部署Dashboard插件

4.2.1 创建部署kubernetes-dashboard的yaml文件

（文件下载地址：链接：https://pan.baidu.com/s/1L1epcWiEI7v2C4bHo2nx3Q 提取码：1fsh）

根据官方文件做了微调:

  1. 把cert注释掉，使用待会自己创建的cert,因为默认的证书有问题；
  2. 把dashboard访问方式改为NodePort,端口是31234，访问时用pod所在主机的ip加端口号即可访问;
  3. imagePullPolicy改为IfNotPresent,当本地找不到镜像时才从网上拉取;

    注意查看镜像路径是否有效，如果无效，自行百度查找镜像源，或者到别的地方把镜像下载到本地，然后把tag改成和yaml文件中的image一致
  4. arm镜像源修改kubernetesui/metrics-scraper-arm64:v1.0.6和kubernetesui/dashboard-arm64:v2.0.5

4.2.2 部署kubernetes-dashboard

kubectl apply -f /opt/kubernetes-dashboard.yaml

4.2.3 部署完成后还是不能访问，因为yaml文件中注释掉了kubernetes-dashboard-certs，相关的pod没跑起来，所以此时应创建certs

kubectl create secret generic kubernetes-dashboard-certs --from-file=/opt/dashboard.key --from-file=/opt/dashboard.crt -n kubernetes-dashboard

4.2.4 如果失败检查方式

一般经过以上步骤就可以访问dashboard，可以跳过这一步了，但如果此时仍不能访问，pod不是处于"running"状态，可以删除kubenetes-dashboard相关的pod，让kubelet自动生成一个新的可运行的pod

查看kubernetes-dashboard的pod名

kubectl get pods -n kubernetes-dashboard

删除该pod:

kubectl delete pod -n kubernetes-dashboard <pod名>

正确结果

[root@master /]# kubectl get  pod -n kubernetes-dashboard

NAME                                         READY   STATUS    RESTARTS   AGE

dashboard-metrics-scraper-57c8667f5c-92fls   1/1     Running   0          5h9m

kubernetes-dashboard-69d48fd659-bw7zb        1/1     Running   0          5h9m

4.3 创建访问用户,用于访问dashboard的Service Account

kubectl create serviceaccount admin-user -n kubernetes-dashboard

4.4 为用户绑定角色，创建ClusterRoleBinding

kubectl create clusterrolebinding admin-user --clusterrole=cluster-admin --serviceaccount=kubernetes-dashboard:admin-user

4.5 获取登录密钥

kubectl -n kubernetes-dashboard describe secret $(kubectl -n kubernetes-dashboard get secret | grep admin-user | awk '{print $1}')

复制生成的token值即可

[root@master opt]# kubectl -n kubernetes-dashboard describe secret $(kubectl -n kubernetes-dashboard get secret | grep admin-user | awk '{print $1}')

Name:         admin-user-token-64tjt

Namespace:    kubernetes-dashboard

Labels:       <none>

Annotations:  kubernetes.io/service-account.name: admin-user

              kubernetes.io/service-account.uid: c882f015-39ca-11eb-9396-fa163ec97a54

Type:  kubernetes.io/service-account-token

Data

====

ca.crt:     1025 bytes

namespace:  20 bytes

token:      eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJhZG1pbi11c2VyLXRva2VuLTY0dGp0Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6ImFkbWluLXVzZXIiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC51aWQiOiJjODgyZjAxNS0zOWNhLTExZWItOTM5Ni1mYTE2M2VjOTdhNTQiLCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6a3ViZXJuZXRlcy1kYXNoYm9hcmQ6YWRtaW4tdXNlciJ9.nK8gspJ8DAMzrOesHC-CGvjaYKAtahUCB9L1eQTbaeCXv-8ZT-8HVBzzCTk20XnAG30yPwOD80x_MBCksSgaw7QkImNlZVcNM3JXmaNvxFTObeg9aY_Lgdbs7r4hfAMKZd2wi1G3BaNbfAWnWxlecbOXTMYBL5PI6h5oJSuR6Fgm0IEdRT6diI_uaoan-Mqmvm_VKvj6tMl1xTqczTgnp0Hv5kwJvT0lOYx13nhjix-hfo0B2UaSGDnLcyFLrzAIOfKuAlFQMwcJndgs7hz_x7CM-UpfOvCg4oVrWkHAlspOfxRVflHXjfexUGnjGq2Rywph5h4godbTPwhLwJ4tcg

4.6 登录验证

访问我们master地址，通过浏览器访问https://IP:31234，点击继续访问

ARM架构安装Kubernetes集群

输入token值

ARM架构安装Kubernetes集群

即可看到kubernetes-dashboard UI界面

ARM架构安装Kubernetes集群

如果无法访问，可以通过以下方式查看pod状态

[root@master opt]# kubectl get secret -n kubernetes-dashboard

NAME                               TYPE                                  DATA   AGE

admin-user-token-zqdnf             kubernetes.io/service-account-token   3      3h4m

default-token-v7v95                kubernetes.io/service-account-token   3      3h9m

kubernetes-dashboard-certs         Opaque                                2      3h8m

kubernetes-dashboard-csrf          Opaque                                1      3h9m

kubernetes-dashboard-key-holder    Opaque                                2      3h9m

kubernetes-dashboard-token-47xg5   kubernetes.io/service-account-token   3      3h9m

UI查看节点信息

ARM架构安装Kubernetes集群

五、卸载K8S组件

注意：

下列步骤仅仅指导用户如何手动卸载K8s组件，请勿在正常的部署过程中执行。

清空K8s集群设置。

在卸载K8s组件前，先执行kubeadm reset命令，清空K8s集群设置。

卸载管理组件。

yum erase -y kubelet kubectl kubeadm kubernetes-cni

删除基础组件镜像。

基础组件通过Docker镜像部署，因此只需要强制删除对应镜像即可卸载。

docker rmi -f k8s.gcr.io/kube-apiserver:v1.15.1

docker rmi -f k8s.gcr.io/kube-controller-manager:v1.15.1

docker rmi -f k8s.gcr.io/kube-scheduler:v1.15.1

docker rmi -f k8s.gcr.io/kube-proxy:v1.15.1

docker rmi -f k8s.gcr.io/pause:3.1

docker rmi -f k8s.gcr.io/etcd:3.3.10

docker rmi -f k8s.gcr.io/coredns:1.3.1

（转发请注明出处：http://www.cnblogs.com/zhangyongli2011/ 如发现有错，请留言，谢谢）

相关文章