kubeadm快速安装最新版 Kubernetes（k8s）1.27.2

1 准备环境

单master部署

IP	Role
192.168.1.20	master
192.168.1.21	node01
192.168.1.22	node02

1.1 k8s环境配置（所有节点都需要操作）

1.2.主机名

hostnamectl set-hostname k8s-master
hostnamectl set-hostname k8s-node01
hostnamectl set-hostname k8s-node02

1.3 配置yum源

1. 备份
mv /etc// /etc//
2. 下载新的  到 /etc//
centos8（centos8官方源已下线，建议切换centos-vault源）
wget -O /etc// /repo/Centos-vault-8.5.
或者
curl -o /etc// /repo/Centos-vault-8.5.
centos6（centos6官方源已下线，建议切换centos-vault源）
wget -O /etc// /repo/Centos-vault-6.
或者
curl -o /etc// /repo/Centos-vault-6.
CentOS 7
wget -O /etc// /repo/
或者
curl -o /etc// /repo/
3. 运行 yum makecache 生成缓存
4. 其他
非阿里云ECS用户会出现 Couldn't resolve host '' 信息，不影响使用。用户也可自行修改相关配置: eg:
sed -i -e '//d' -e '//d' /etc//

1.4 安装一些必备工具

yum update -y && yum -y install  wget psmisc vim net-tools nfs-utils telnet yum-utils device-mapper-persistent-data lvm2 git tar curl

1.5 关闭防火墙

# Ubuntu忽略，CentOS执行
systemctl disable --now firewalld

1.6 关闭SELinux

禁用SELinux的目的是让容器可以读取主机文件系统
sudo setenforce 0

sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

1.7 关闭swap

禁用交换分区。为了保证 kubelet 正常工作，你必须禁用交换分区。

swapoff -a

sed -ri 's/.*swap.*/#&/' /etc/fstab

1.8 网络配置（俩种方式二选一）

#Ubuntu忽略，CentOS执行

 方式一
 systemctl disable --now NetworkManager
 systemctl start network && systemctl enable network

 方式二
cat > /etc/NetworkManager// << EOF 
[keyfile]
unmanaged-devices=interface-name:cali*;interface-name:tunl*
EOF
systemctl restart NetworkManager

1.9 .进行时间同步

master 节点设置

yum -y install chrony
vim /etc/
server  iburst

systemctl start chronyd && systemctl enable chronyd && timedatectl set-timezone Asia/Shanghai
chronyc sources

node 节点设置
 yum -y install chrony  
  vim /etc/
  
# Use public servers from the  project.
# Please consider joining the pool (/).
server 192.168.1.20
systemctl start chronyd && systemctl enable chronyd 
chronyc sources
# 快捷f方式

# 服务端
# apt install chrony -y
yum install chrony -y
cat > /etc/ << EOF 
pool  iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
allow 192.168.0.0/24
local stratum 10
keyfile /etc/
leapsectz right/UTC
logdir /var/log/chrony
EOF

systemctl restart chronyd ; systemctl enable chronyd

# 客户端
# apt install chrony -y
yum install chrony -y
cat > /etc/ << EOF 
pool 192.168.1.20 iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
keyfile /etc/
leapsectz right/UTC
logdir /var/log/chrony
EOF

systemctl restart chronyd ; systemctl enable chronyd

#使用客户端进行验证
chronyc sources -v

1.10 所有节点升级内核

升级到4.18以上

升到最新
载入公钥
rpm --import / 
升级安装ELRepo
 rpm -Uvh /elrepo-release-7.0-3. 
如果是centos8使用如下命令
yum install /elrepo-release-8.0-2. 
载入elrepo-kernel元数据
yum --disablerepo=\* --enablerepo=elrepo-kernel repolist 
安装最新版本的kernel
yum --disablerepo=\* --enablerepo=elrepo-kernel install kernel-ml.x86_64 -y 
删除旧版本工具包
 yum remove kernel-tools-libs.x86_64 kernel-tools.x86_64 -y 
安装新版本工具包
yum --disablerepo=\* --enablerepo=elrepo-kernel install kernel-ml-tools.x86_64 -y 
查看内核插入顺序
 awk -F \' '$1=="menuentry " {print i++ " : " $2}'  /etc/ 
设置默认启动
grub2-set-default 0 // 0代表当前第一行，也就是6.3版本  
grub2-editenv list  
重启验证

1.11 安装ipvsadm

# 对于CentOS7离线安装
# yum install /root/centos7/ipset-*.el7.x86_64.rpm /root/centos7/lm_sensors-libs-*.el7.x86_64.rpm  /root/centos7/ipset-libs-*.el7.x86_64.rpm /root/centos7/sysstat-*.el7_9.x86_64.rpm  /root/centos7/ipvsadm-*.el7.x86_64.rpm  -y

# 对于 Ubuntu
# apt install ipvsadm ipset sysstat conntrack -y

# 对于 CentOS
yum install ipvsadm ipset sysstat conntrack libseccomp -y
cat >> /etc// <<EOF 
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
nf_conntrack
ip_tables
ip_set
xt_set
ipt_set
ipt_rpfilter
ipt_REJECT
ipip
EOF

systemctl restart 

lsmod | grep -e ip_vs -e nf_conntrack
ip_vs_sh               16384  0
ip_vs_wrr              16384  0
ip_vs_rr               16384  0
ip_vs                 180224  6 ip_vs_rr,ip_vs_sh,ip_vs_wrr
nf_conntrack          176128  1 ip_vs
nf_defrag_ipv6         24576  2 nf_conntrack,ip_vs
nf_defrag_ipv4         16384  1 nf_conntrack
libcrc32c              16384  3 nf_conntrack,xfs,ip_vs

1.12 修改内核参数

cat <<EOF > /etc//
net.ipv4.ip_forward = 1
-nf-call-iptables = 1
fs.may_detach_mounts = 1
vm.overcommit_memory=1
vm.panic_on_oom=0
.max_user_watches=89100
-max=52706963
fs.nr_open=52706963
.nf_conntrack_max=2310720

net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_keepalive_intvl =15
net.ipv4.tcp_max_tw_buckets = 36000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_orphans = 327680
net.ipv4.tcp_orphan_retries = 3
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.ip_conntrack_max = 65536
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_timestamps = 0
 = 16384

net..disable_ipv6 = 0
net..disable_ipv6 = 0
net..disable_ipv6 = 0
net. = 1
EOF

sysctl --system

1.13 所有节点配置hosts本地解析

cat > /etc/hosts <<EOF
127.0.0.1   localhost  localhost4 localhost4.localdomain4
::1         localhost  localhost6 localhost6.localdomain6

192.168.1.20 k8s-master
192.168.1.21 k8s-node01
192.168.1.22 k8s-node02
EOF

1.14 配置阿里云yum源

cat <<EOF > /etc//
[kubernetes]
name=Kubernetes
baseurl=/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=/kubernetes/yum/doc/ /kubernetes/yum/doc/
EOF

2 安装containerd [全部节点安装]

创建 /etc// 配置文件:
cat << EOF > /etc//
overlay
br_netfilter
EOF
modprobe overlay
modprobe br_netfilt

获取阿里云YUM源
wget -O /etc// /docker-ce/linux/centos/


下载安装：

yum install -y 


生成containerd的配置文件
mkdir /etc/containerd -p 
生成配置文件
containerd config default > /etc/containerd/
编辑配置文件
vim /etc/containerd/
-----
SystemdCgroup = false 改为 SystemdCgroup = true


# sandbox_image = "/pause:3.6"
改为：
sandbox_image = "/google_containers/pause:3.9"


------

   
# systemctl enable containerd
Created symlink from /etc/systemd/system// to /usr/lib/systemd/system/.
# systemctl start containerd
# ctr images ls
-----------------------------------

3 安装K8s1.27.2

3.1 添加阿里云YUM软件源（全部节点）

cat <<EOF > /etc//
[kubernetes]
name=Kubernetes
baseurl=/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=/kubernetes/yum/doc/ /kubernetes/yum/doc/
EOF
yum makecache
## 查看所有的可用版本
yum list kubelet --showduplicates | sort -r |grep 1.27

3.2 安装kubeadm，kubelet和kubectl（全部）


目前最新版本是1.27.2，我们直接上最新版
yum install -y kubectl kubelet kubeadm
为了实现docker使用的cgroupdriver与kubelet使用的cgroup的一致性，建议修改如下文件内容。
vim /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"
设置kubelet为开机自启动即可，由于没有生成配置文件，集群初始化后自动启动
systemctl enable kubelet

3.3 设置运行时

crictl config runtime-endpoint /run/containerd/
 systemctl daemon-reload
 systemctl enable kubelet && systemctl start kubelet

到这里为止上面所有的操作都需要在所有节点执行配置。

3.4 集群初始化（master）

准备k8s1.27.2 所需要的镜像
kubeadm config images list --kubernetes-version=v1.27.2
使用kubeadm init命令初始化
在master上执行，报错请看k8s报错汇总
kubeadm init --kubernetes-version=v1.27.2 --pod-network-cidr=10.224.0.0/16 --apiserver-advertise-address=192.168.1.20 --image-repository /google_containers

--apiserver-advertise-address 集群通告地址
--image-repository 由于默认拉取镜像地址国内无法访问，这里指定阿里云镜像仓库地址
--kubernetes-version K8s版本，与上面安装的一致
--service-cidr 集群内部虚拟网络，Pod统一访问入口
--pod-network-cidr Pod网络，，与下面部署的CNI网络组件yaml中保持一致



初始化成功结果如下:
    
    
Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/ $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  /docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.1.20:6443 --token ggamya.2vrdww877b7hllp0 \
        --discovery-token-ca-cert-hash sha256:f031f144612ba3a912f1bf22a397565eaaad6b218693740d4f3c0e7d63810b40
-----------------------------------

拷贝 kubeconfig 文件
$ mkdir -p $HOME/.kube
$ sudo cp -i /etc/kubernetes/ $HOME/.kube/config
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config

3.5 添加节点
记住初始化集群上面的配置和操作要提前做好，将 master 节点上面的 $HOME/.kube/config 文件拷贝到 node 节点对应的文件中，安装 kubeadm、kubelet、kubectl，然后执行上面初始化完成后提示的 join 命令即可：
scp -p .kube/config k8s-node01:~/.kube/
scp -p .kube/config k8s-node02:~/.kube/
两台都执行下面操作
kubeadm join 192.168.1.20:6443 --token znnfnx.a8grg0jmznk56ejx --discovery-token-ca-cert-hash sha256:b2a863aa7e77da5a424a2751e203bc3f1e34d37802f549f3c23c86bf63e744cf 


结果如下：
[preflight] Running pre-flight checks
[preflight] Reading configuration from the cluster...
[preflight] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -o yaml'
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/"
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/"
[kubelet-start] Starting the kubelet
[kubelet-start] Waiting for the kubelet to perform the TLS Bootstrap...

This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.

Run 'kubectl get nodes' on the control-plane to see this node join the cluster.

# 查看集群节点：
kubectl get node

如果忘记了上面的 join 命令可以使用命令kubeadm token create --print-join-command重新获取。

4 部署集群网络插件（master）

网络插件使用calico

kubectl create -f /projectcalico/calico/v3.25.1/manifests/
wget /projectcalico/calico/v3.26.0/manifests/

vi 

--- 原
cidr: 192.168.0.0/16
---

--- 改
cidr: 10.244.0.0/16
---

kubectl create -f

5 确认集群

kubectl get nodes
kubectl get pods -A -o wide

致此安装完成
所有节点都running

5.1 其他，crictl 命令补充

以下是一些常见的使用 containerd 的命令：
镜像管理命令：
ctr images list: 列出当前所有可用镜像。
ctr images remove <image>: 删除指定镜像。
ctr image pull <image>: 从远程仓库拉取指定镜像。
ctr image import <tar-file>: 导入本地镜像压缩包。
ctr image export <image> <tar-file>: 导出指定镜像到本地文件。
容器管理命令：
ctr tasks list: 列出当前所有正在运行的容器任务。
ctr task kill <task-id>: 结束指定运行中的容器任务。
ctr container create <container-name> <image>: 创建一个新的容器，可以使用已有镜像或者自己构建。
ctr container start <container-name>: 启动指定的容器实例。
ctr container stop <container-name>: 停止正在运行的容器实例。
ctr container ls: 列出当前所有容器实例。
数据管理命令：
ctr snapshotter ensure <snapshotter-name>: 确认并转换快照管理器。常用的 snapshotter 是 
overlayfs 和 
devmapper。
ctr snapshot ls: 列出所有当前可用的快照。
ctr snapshot remove <snapshot-name>: 删除指定的快照。
上述命令只是 containerd 数量众多命令中的一些常用命令。详细信息可以参考 containerd 官方文档。

5.2 配置命令自动补全

yum install -y bash-completion
source /usr/share/bash-completion/bash_completion
source <(kubectl completion bash)
echo "source <(kubectl completion bash)" >> ~/.bashrc

5.3 安装Metrics-server

在新版的Kubernetes中系统资源的采集均使用Metrics-server，可以通过Metrics采集节点和Pod的内存、磁盘、CPU和网络的使用率
wget /kubernetes-sigs/metrics-server/releases/latest/download/high-availability-1.21+.yaml
vim high-availability-1.21+.yaml
      - args:
        - --cert-dir=/tmp
        - --secure-port=4443
        - --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname
        - --kubelet-use-node-status-port
        - --metric-resolution=15s
        - --kubelet-insecure-tls #增加
vim /etc/kubernetes/manifests/
在此文件内添加    - --enable-aggregator-routing=true 这个字段即可，apiserver会自动重启生效网络聚合功能。
kubectl create -f high-availability-1.21+.yaml

安装kubesphere需要安装Metrics Server，而Metrics Server需要开启网络聚合功能。逻辑关系是：网络聚合—>Metrics Serve>kubesphere。
还有一个地方需要注意，安装kubesphere先决条件需要一个default的StorageClass存储
（1）网络聚合的意义：
API 聚合机制是 Kubernetes 1.7 版本引入的特性，能够将用户扩展的 API 注册到 kube-apiserver 上，仍然通过 API Server 的 HTTP URL 对新的 API 进行访问和操作。为了实现这个机制，Kubernetes 在 kube-apiserver 服务中引入了一个 API 聚合层（API Aggregation Layer），用于将扩展 API 的访问请求转发到用户服务的功能。
设计 API 聚合机制的主要目标如下。
增加 API 的扩展性：使得开发人员可以编写自己的 API Server 来发布他们的 API，而无需对 Kubernetes 核心代码进行任何修改。
无需等待 Kubernetes 核心团队的复杂审查：允许开发人员将其 API 作为单独的 API Server 发布，使集群管理员不用对 Kubernetes 核心代码进行修改就能使用新的 API，也就无需等待社区繁杂的审查了。
支持试验性新特性 API 开发：可以在独立的 API 聚合服务中开发新的 API，不影响系统现有的功能。
确保新的 API 遵循 Kubernetes 的规范：如果没有 API 聚合机制，开发人员就可能会*推出自己的设计，可能不遵循 Kubernetes 规范。
总的来说，API 聚合机制的目标是提供集中的 API 发现机制和安全的代理功能，将开发人员的新 API 动态地、无缝地注册到 Kubernetes API Server 中进行测试和使用。
（2）Metrics Server的意义：
Kubernetes Metrics Server 是 Cluster 的核心监控数据的聚合器，kubeadm 默认是不部署的。
Metrics Server 供 Dashboard 等其他组件使用，是一个扩展的 APIServer，依赖于 API Aggregator。所以，在安装 Metrics Server 之前需要先在 kube-apiserver 中开启 API Aggregator。
Metrics API 只可以查询当前的度量数据，并不保存历史数据。
Metrics API URI 为 /apis/metrics./，在 /metrics 下维护。
必须部署 metrics-server 才能使用该 API，metrics-server 通过调用 kubelet Summary API 获取数据。
（3）因此，当前的kubernetes集群需要先开启网络聚合功能，也就是需要开启AA模式（API Aggregation），其次，需要部署Metrics Server
二，kubernetes集群开启AA模式如果是kubeadm部署的集群，只需要编辑/etc/kubernetes/manifests/这个文件，在此文件内添加 - --enable-aggregator-routing=true 这个字段即可，apiserver会自动重启生效网络聚合功能。）
在这里插入图片描述

5.4 部署一个dashborad

wget  /kubernetes/dashboard/v2.7.0/aio/deploy/
# 修改属性
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  type: NodePort   #新增
  ports:
    - port: 443
      targetPort: 8443
  selector:
    k8s-app: kubernetes-dashboard
    
    # 创建资源
kubectl apply -f 

# 查看资源是否已经就绪
kubectl get all -n kubernetes-dashboard -o wide

# 访问测试
https://节点ip:端口

# 创建账号配置文件
touch 

# 配置文件
apiVersion: v1 
kind: ServiceAccount 
metadata: 
  labels: 
    k8s-app: kubernetes-dashboard 
  name: dashboard-admin 
  namespace: kubernetes-dashboard 
--- 
apiVersion: ./v1 
kind: ClusterRoleBinding 
metadata: 
  name: dashboard-admin-cluster-role 
roleRef: 
  apiGroup: . 
  kind: ClusterRole 
  name: cluster-admin 
subjects: 
  - kind: ServiceAccount
    name: dashboard-admin
    namespace: kubernetes-dashboard

# 创建资源
kubectl  apply -f 

# 查看账号信息
kubectl describe serviceaccount dashboard-admin -n kubernetes-dashboard

# 获取账号的 token 登录 dashboard
kubectl -n kubernetes-dashboard create token dashboard-admin

#获取dashboard nodeport ip
kubectl get svc
访问 https://192.168.1.20:nodeport ip/#/login

秒客网