k8s1.11.0安装、一个master、一个node、查看node名称是主机名、node是扩容进来的、带cadvisor监控服务

一个master、一个node、查看node节点是主机名

# 安装顺序：先在test1 上安装完必要组件后，就开始在 test2 上单独安装node组件，实现node功能，再返回来配置test1加入集群，实现node功能

# 本实验 test1 节点不做安装kubelet组件。只有安装启动了kubelet才会生成csr,kube-apiserver通过csr请求后才会成为一个node。所以是node节点单独安装

# 注意：准备了三台，这三台都做了环境准备，但是k8s集群只是使用了 test1、test2这两个节点，如果把test3扩容进来，随时都可以，

# 注意：本实验 test2 没有安装etcd，之前安装的etcd给剔除了

# 本实验 kubelet组件的参数中 --hostname-override= 写的ip地址，通过 kubectl get nodes 查看得到的name就是ip，如果填写主机名，得到的name就是主机名

实验架构：

# 注意：下面列出来的组件顺序就是本实验的组件安装顺序

test1: 192.168.0.91    etcd、kubectl工具、kube-apiserver、kube-controller-manager、kube-scheduler、kubelet组件、cni、kube-proxy

test2: 192.168.0.92    docker、kubectl工具、kubelet组件、cni、kube-proxy、flannel、coredns

test3：192.168.0.93    无

1、环境配置

# 如下操作在所有节点操作

修改主机名

# 注意修改 各自节点对应的 主机名

sed -i '$a\hostname=test1' /etc/hostname
sed -i '$a\hostname=test1' /etc/sysconfig/network && hostnamectl set-hostname test1

配置hosts解析

cat >>/etc/hosts<<EOF
192.168.0.91 test1
192.168.0.92 test2
192.168.0.93 test3
EOF

禁用selinux

sed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinux

sed -i 's/enforcing/disabled/g' /etc/selinux/config

关闭swap

# 注释/etc/fstab文件里swap相关的行

sed -i 's/\/dev\/mapper\/centos-swap/#\/dev\/mapper\/centos-swap/g' /etc/fstab

关掉防火墙

systemctl stop firewalld && systemctl disable firewalld

配置免密登录

退出xshell查看主机名是否改变(必须)

exit

开启forward

iptables -P FORWARD ACCEPT

配置转发相关参数

cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
vm.swappiness=0
EOF

加载系统参数

sysctl --system

加载ipvs相关内核模块

# 如果重新开机，需要重新加载

modprobe ip_vs
modprobe ip_vs_rr
modprobe ip_vs_wrr
modprobe ip_vs_sh
modprobe nf_conntrack_ipv4
lsmod | grep ip_vs

2、安装etcd

etcd安装请参照: https://www.cnblogs.com/effortsing/p/10295261.html

下面开始安装k8s组件，序号从6开始

6、分发二进制组件

# 只在test1 节点上操作

# 提前分发k8s所有组件二进制文件、顺便安装kubectl工具

# 安装包解压后包括 kubectl 工具，所以不需要单独使用kubernetes-server-client-amd64.tar.gz 安装包分发 kubectl 工具

下载、解压安装包

cd /server/software/k8s

下载链接：https://pan.baidu.com/s/1DXahqP8nXWP1aw5pIunJrw
提取码：9xfp

tar -xf kubernetes-server-linux-amd64.tar.gz

分发所有组件二进制文件，

# 后面配置 kube-apiserver 等各个组件启动文件里面需要带上各自二进制文件路径

mkdir -p /usr/local/kubernetes/bin
cd /server/software/k8s/kubernetes/server/bin
cp kube-apiserver kube-controller-manager kube-scheduler kubectl /usr/local/kubernetes/bin    #这一步很关键

安装kubectl工具

# 后面创建 admin kubeconfig等配置文件时候需要用到；

# admin.conf = ~/.kube/config，因为是复制过来的 ；

# kubectl作用：当kubelet组件通过bootstrap token 认证后，kubectl默认从 ~/.kube/config 文件读取 kube-apiserver 地址、证书、用户名等信息；

cp /usr/local/kubernetes/bin/kubectl /usr/local/bin/kubectl

查看 kubectl 版本，

# 出现下面的情况就是正确的。did you specify the right host or port? 这个报错忽略，因为还没有安装kubelet服务

kubectl version

[root@test1 bin]# kubectl version
Client Version: version.Info{Major:"", Minor:"", GitVersion:"v1.11.0", GitCommit:"91e7b4fd31fcd3d5f436da26c980becec37ceefe", GitTreeState:"clean", BuildDate:"2018-06-27T20:17:28Z", GoVersion:"go1.10.2", Compiler:"gc", Platform:"linux/amd64"}
The connection to the server localhost:8080 was refused - did you specify the right host or port?

cd $HOME

7、生成admin的ca证书和私钥   

# 只在test1 节点上操作

# kubectl 作为集群的管理工具，需要被授予最高权限。这里创建具有最高权限的 admin 证书、admin kubeconfig

# 注意：后面只有apiserver和kubelet这两个服务启动参数会用到admin的ca证书；kubectl工具和kubelet服务不是一回事

cd $HOME/ssl

cat >admin-csr.json<<EOF
{
    "CN": "admin",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "ST": "BeiJing",
            "L": "BeiJing",
            "O": "system:masters",
            "OU": "System"
        }
    ]
}
EOF

生成 admin ca

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json \
-profile=kubernetes admin-csr.json | cfssljson -bare admin

查看生成的admin ca

ls admin*.pem

8、配置 kube-apiserver ca

# 只在 test1节点上操作

# 10.96.0.1 是 kube-apiserver 指定的 service-cluster-ip-range 网段的第一个IP

cd $HOME/ssl

cat >kube-apiserver-csr.json<<EOF
{
    "CN": "kube-apiserver",
    "hosts": [
      "127.0.0.1",
      "192.168.0.91",
      "192.168.0.92",
      "192.168.0.93",
      "10.96.0.1",
      "kubernetes",
      "kubernetes.default",
      "kubernetes.default.svc",
      "kubernetes.default.svc.cluster",
      "kubernetes.default.svc.cluster.local"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "ST": "BeiJing",
            "L": "BeiJing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF

生成 kube-apiserver ca

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json \
-profile=kubernetes kube-apiserver-csr.json | cfssljson -bare kube-apiserver

查看生成的kube-apiserver ca

ls kube-apiserver*.pem

9、配置 kube-controller-manager ca

# 只在 test1节点上操作

cd $HOME/ssl

cat >kube-controller-manager-csr.json<<EOF
{
    "CN": "system:kube-controller-manager",
    "hosts": [
      "127.0.0.1",
      "192.168.0.91"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "ST": "BeiJing",
            "L": "BeiJing",
            "O": "system:kube-controller-manager",
            "OU": "System"
        }
    ]
}
EOF

生成 kube-controller-manager ca

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json \
-profile=kubernetes kube-controller-manager-csr.json | cfssljson -bare kube-controller-manager

查看生成的kube-controller-manager ca

ls kube-controller-manager*.pem

10、配置 kube-scheduler ca

# 只在test1 节点上操作

cd $HOME/ssl

cat >kube-scheduler-csr.json<<EOF
{
    "CN": "system:kube-scheduler",
    "hosts": [
      "127.0.0.1",
      "192.168.0.91"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "ST": "BeiJing",
            "L": "BeiJing",
            "O": "system:kube-scheduler",
            "OU": "System"
        }
    ]
}
EOF

生成 kube-scheduler ca

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json \
-profile=kubernetes kube-scheduler-csr.json | cfssljson -bare kube-scheduler

查看生成的kube-scheduler ca

ls kube-scheduler*.pem

11、配置 kube-proxy ca

# 只在test1节点上操作

# 注意：只是node节点需要用到kube-proxy ca

cd $HOME/ssl

cat >kube-proxy-csr.json<<EOF
{
    "CN": "system:kube-proxy",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "ST": "BeiJing",
            "L": "BeiJing",
            "O": "system:kube-proxy",
            "OU": "System"
        }
    ]
}
EOF

生成 kube-proxy ca

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json \
-profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy

查看生成的kube-proxy ca

ls kube-proxy*.pem

12、复制所有的ca 证书到一个目录里面，方便管理

# 只在test1节点上操作

cd $HOME/ssl
mkdir -p /etc/kubernetes/pki
mkdir -p /etc/kubernetes/pki/etcd/
cp ca*.pem admin*.pem kube-proxy*.pem kube-scheduler*.pem kube-controller-manager*.pem kube-apiserver*.pem /etc/kubernetes/pki

13、开启 bootstrap token 认证 ，kubelet TLS Boostrap机制 

# 只在test1 节点上操作

# kube-apiserver、kubelet启动文件需要用到token，

# token中包含kubelet-bootstrap用户

# 后面kubelet组件启动参数中需要使用 kubelet-bootstrap.conf 文件向 kube-apiserver 发送 CSR 请求，

# 请求通过后，kubectl才会从 ~/.kube/config 文件读取 kube-apiserver 地址、证书、用户名等信息

静态获取token

# 还有一种是用 kubeadm 动态获取token，kubeadm token create,这样可以使用 TLS bootstrap 机制自动生成 client 和 server 证书，过期后自动轮转。

# 本实验采用静态获取，一天后过期

export BOOTSTRAP_TOKEN=$(head -c 16 /dev/urandom | od -An -t x | tr -d ' ')

创建token.csv文件

# 只有kube-apiserver 启动文件中需要用到

cat > /etc/kubernetes/token.csv <<EOF
${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap"
EOF

创建kubelet-bootstrap.conf

# 只有kubelet启动文件需要用到

cd /etc/kubernetes

export KUBE_APISERVER="https://192.168.0.91:6443"

kubectl config set-cluster kubernetes \
  --certificate-authority=/etc/kubernetes/pki/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=kubelet-bootstrap.conf

kubectl config set-credentials kubelet-bootstrap \
  --token=${BOOTSTRAP_TOKEN} \
  --kubeconfig=kubelet-bootstrap.conf

kubectl config set-context default \
  --cluster=kubernetes \
  --user=kubelet-bootstrap \
  --kubeconfig=kubelet-bootstrap.conf

kubectl config use-context default --kubeconfig=kubelet-bootstrap.conf

14、创建 admin kubeconfig 

# 只在test1节点上操作

# 只有kubelet服务启动参数需要用到admin kubeconfig，
# admin.conf = ~/.kube/config，因为复制过来的 ；kubectl 默认从 ~/.kube/config 文件读取 kube-apiserver 地址、证书、用户名等信息，

cd /etc/kubernetes

export KUBE_APISERVER="https://192.168.0.91:6443"

设置集群参数

kubectl config set-cluster kubernetes \
  --certificate-authority=/etc/kubernetes/pki/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=admin.conf

设置客户端认证参数

kubectl config set-credentials admin \
  --client-certificate=/etc/kubernetes/pki/admin.pem \
  --client-key=/etc/kubernetes/pki/admin-key.pem \
  --embed-certs=true \
  --kubeconfig=admin.conf

设置上下文参数

kubectl config set-context default \
  --cluster=kubernetes \
  --user=admin \
  --kubeconfig=admin.conf

设置默认上下文

kubectl config use-context default --kubeconfig=admin.conf

15、创建 kube-controller-manager kubeconfig

# 只在test1 节点上操作

cd /etc/kubernetes

export KUBE_APISERVER="https://192.168.0.91:6443"

kubectl config set-cluster kubernetes \
  --certificate-authority=/etc/kubernetes/pki/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=kube-controller-manager.conf

kubectl config set-credentials kube-controller-manager \
  --client-certificate=/etc/kubernetes/pki/kube-controller-manager.pem \
  --client-key=/etc/kubernetes/pki/kube-controller-manager-key.pem \
  --embed-certs=true \
  --kubeconfig=kube-controller-manager.conf

kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-controller-manager \
  --kubeconfig=kube-controller-manager.conf

kubectl config use-context default --kubeconfig=kube-controller-manager.conf

16、创建 kube-scheduler kubeconfig

# 只在test1 节点上操作

cd /etc/kubernetes

export KUBE_APISERVER="https://192.168.0.91:6443"

kubectl config set-cluster kubernetes \
  --certificate-authority=/etc/kubernetes/pki/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=kube-scheduler.conf

kubectl config set-credentials kube-scheduler \
  --client-certificate=/etc/kubernetes/pki/kube-scheduler.pem \
  --client-key=/etc/kubernetes/pki/kube-scheduler-key.pem \
  --embed-certs=true \
  --kubeconfig=kube-scheduler.conf

kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-scheduler \
  --kubeconfig=kube-scheduler.conf

kubectl config use-context default --kubeconfig=kube-scheduler.conf

17、创建 kube-proxy kubeconfig

# 只在test1 节点上操作

# 注意：只是node节点需要用到kube-proxy kubeconfig

cd /etc/kubernetes

export KUBE_APISERVER="https://192.168.0.91:6443"

kubectl config set-cluster kubernetes \
  --certificate-authority=/etc/kubernetes/pki/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=kube-proxy.conf

kubectl config set-credentials kube-proxy \
  --client-certificate=/etc/kubernetes/pki/kube-proxy.pem \
  --client-key=/etc/kubernetes/pki/kube-proxy-key.pem \
  --embed-certs=true \
  --kubeconfig=kube-proxy.conf

kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-proxy \
  --kubeconfig=kube-proxy.conf

kubectl config use-context default --kubeconfig=kube-proxy.conf

cd $HOME

18、配置启动kube-apiserver

# 只在test1 节点上操作

复制 etcd ca

mkdir -pv /etc/kubernetes/pki/etcd
cd $HOME/ssl
cp etcd.pem etcd-key.pem ca-key.pem ca.pem /etc/kubernetes/pki/etcd

生成 service account key

cd /etc/kubernetes/pki/
openssl genrsa -out /etc/kubernetes/pki/sa.key 2048
openssl rsa -in /etc/kubernetes/pki/sa.key -pubout -out /etc/kubernetes/pki/sa.pub
ls /etc/kubernetes/pki/sa.*
cd $HOME

配置启动文件

cat >/etc/systemd/system/kube-apiserver.service<<EOF
[Unit]
Description=Kubernetes API Service
Documentation=https://github.com/kubernetes/kubernetes
After=network.target

[Service]
EnvironmentFile=-/etc/kubernetes/config
EnvironmentFile=-/etc/kubernetes/apiserver
ExecStart=/usr/local/kubernetes/bin/kube-apiserver \\
        \$KUBE_LOGTOSTDERR \\
        \$KUBE_LOG_LEVEL \\
        \$KUBE_ETCD_ARGS \\
        \$KUBE_API_ADDRESS \\
        \$KUBE_SERVICE_ADDRESSES \\
        \$KUBE_ADMISSION_CONTROL \\
        \$KUBE_APISERVER_ARGS
Restart=on-failure
Type=notify
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF

配置参数变量文件

# 下面 kube-apiserver、kube-controller-manager、kube-scheduler、kube-proxy这些服务 都需要用到，这里只配置一次，以后重复利用，后面的也写了变量文件，只是为了知道怎么回事

cat >/etc/kubernetes/config<<EOF
KUBE_LOGTOSTDERR="--logtostderr=true"
KUBE_LOG_LEVEL="--v=2"
EOF

配置apiserver

# 注意参数--token-auth-file=/etc/kubernetes/token.csv 表示在 apiserver 中静态配置bootstrap token，和后面开启 bootstrap token 认证步骤相呼应，不是动态的，所以有过期时间，

# 后面kubelet组件启动参数中需要使用 kubelet-bootstrap.conf 文件向 kube-apiserver 发送 CSR 请求，--bootstrap-kubeconfig 文件里面包含token和apiserver里面的token是一样的，

cat >/etc/kubernetes/apiserver<<EOF
KUBE_API_ADDRESS="--advertise-address=192.168.0.91"
KUBE_ETCD_ARGS="--etcd-servers=https://192.168.0.91:2379 --etcd-cafile=/etc/kubernetes/pki/ca.pem --etcd-certfile=/etc/kubernetes/pki/etcd/etcd.pem --etcd-keyfile=/etc/kubernetes/pki/etcd/etcd-key.pem"
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.96.0.0/12"
KUBE_ADMISSION_CONTROL="--enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,DefaultTolerationSeconds,MutatingAdmissionWebhook,ValidatingAdmissionWebhook,ResourceQuota"
KUBE_APISERVER_ARGS="--allow-privileged=true --authorization-mode=Node,RBAC --enable-bootstrap-token-auth=true --token-auth-file=/etc/kubernetes/token.csv --service-node-port-range=0-60000 --tls-cert-file=/etc/kubernetes/pki/kube-apiserver.pem --tls-private-key-file=/etc/kubernetes/pki/kube-apiserver-key.pem --client-ca-file=/etc/kubernetes/pki/ca.pem --service-account-key-file=/etc/kubernetes/pki/sa.pub --enable-swagger-ui=true --secure-port=6443 --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname --anonymous-auth=false --kubelet-client-certificate=/etc/kubernetes/pki/admin.pem --kubelet-client-key=/etc/kubernetes/pki/admin-key.pem"
EOF

启动

systemctl daemon-reload
systemctl enable kube-apiserver
systemctl start kube-apiserver
systemctl status kube-apiserver

通过浏览器访问测试

# 401 报错正常，是因为没有权限，不影响，以后解决

curl https://192.168.0.91:6443/swaggerapi

[root@test1 ~]# curl https://192.168.0.91:6443/swaggerapi
curl: (60) Peer's Certificate issuer is not recognized.
More details here: http://curl.haxx.se/docs/sslcerts.html

curl performs SSL certificate verification by default, using a "bundle"
of Certificate Authority (CA) public keys (CA certs). If the default
bundle file isn't adequate, you can specify an alternate file
using the --cacert option.
If this HTTPS server uses a certificate signed by a CA represented in
the bundle, the certificate verification probably failed due to a
problem with the certificate (it might be expired, or the name might
not match the domain name in the URL).
If you'd like to turn off curl's verification of the certificate, use
the -k (or --insecure) option.

19、配置启动kube-controller-manager

# 只在test1 节点上操作

配置启动文件

cat >/etc/systemd/system/kube-controller-manager.service<<EOF
Description=Kubernetes Controller Manager
Documentation=https://github.com/kubernetes/kubernetes
After=network.target

[Service]
EnvironmentFile=-/etc/kubernetes/config
EnvironmentFile=-/etc/kubernetes/controller-manager
ExecStart=/usr/local/kubernetes/bin/kube-controller-manager \\
        \$KUBE_LOGTOSTDERR \\
        \$KUBE_LOG_LEVEL \\
        \$KUBECONFIG \\
        \$KUBE_CONTROLLER_MANAGER_ARGS
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF

配置参数变量文件

# 配置kube-apiserver启动文件时已经配置过参数变量文件，这里就不需要再做，写在这里只是为了知道下面配置文件里的参数怎么回事

cat >/etc/kubernetes/config<<EOF
KUBE_LOGTOSTDERR="--logtostderr=true"
KUBE_LOG_LEVEL="--v=2"
EOF

配置controller-manager文件

# 特别注意：这里的cluster-cidr地址要和 Kube-proxy里面的cluster-cidr、flannel 里面的Network 地址保持一致，这有这三个组件里面有 10.244.0.0

cat >/etc/kubernetes/controller-manager<<EOF
KUBECONFIG="--kubeconfig=/etc/kubernetes/kube-controller-manager.conf"
KUBE_CONTROLLER_MANAGER_ARGS="--address=127.0.0.1 --cluster-cidr=10.244.0.0/16 --cluster-name=kubernetes --cluster-signing-cert-file=/etc/kubernetes/pki/ca.pem --cluster-signing-key-file=/etc/kubernetes/pki/ca-key.pem --service-account-private-key-file=/etc/kubernetes/pki/sa.key --root-ca-file=/etc/kubernetes/pki/ca.pem --leader-elect=true --use-service-account-credentials=true --node-monitor-grace-period=10s --pod-eviction-timeout=10s --allocate-node-cidrs=true --controllers=*,bootstrapsigner,tokencleaner"
EOF

启动
systemctl daemon-reload
systemctl enable kube-controller-manager
systemctl start kube-controller-manager
systemctl status kube-controller-manager

20、配置启动kube-scheduler

# 只在test1 节点上操作

配置启动文件

cat >/etc/systemd/system/kube-scheduler.service<<EOF
[Unit]
Description=Kubernetes Scheduler Plugin
Documentation=https://github.com/kubernetes/kubernetes

[Service]
EnvironmentFile=-/etc/kubernetes/config
EnvironmentFile=-/etc/kubernetes/scheduler
ExecStart=/usr/local/kubernetes/bin/kube-scheduler \\
            \$KUBE_LOGTOSTDERR \\
            \$KUBE_LOG_LEVEL \\
            \$KUBECONFIG \\
            \$KUBE_SCHEDULER_ARGS
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF

配置参数变量文件

# 配置kube-apiserver启动文件时已经配置过参数变量文件，这里就不需要再做，写在这里只是为了知道下面配置文件里的参数怎么回事

cat >/etc/kubernetes/config<<EOF
KUBE_LOGTOSTDERR="--logtostderr=true"
KUBE_LOG_LEVEL="--v=2"
EOF

配置scheduler文件

cat >/etc/kubernetes/scheduler<<EOF
KUBECONFIG="--kubeconfig=/etc/kubernetes/kube-scheduler.conf"
KUBE_SCHEDULER_ARGS="--leader-elect=true --address=127.0.0.1"
EOF

启动

systemctl daemon-reload
systemctl enable kube-scheduler
systemctl start kube-scheduler
systemctl status kube-scheduler

给kubelet-bootstrap用户授权

# 创建一个 clusterrolebinding，将 bootstrap token 文件中的 kubelet-bootstrap 用户赋予 system:node-bootstrapper cluster 角色

# 默认情况下，bootstrap这个 user 和 group 没有创建 CSR 的权限，kubelet 会启动失败，所以要给kubelet-bootstrap角色授权

kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap

# 如果没有授权会出现下面错误：

[root@test2 kubernetes]# journalctl -u kubelet |tail
failed to run Kubelet: cannot create certificate signing request: certificatesigningrequests.certificates.k8s.io is forbidden: User "kubelet-bootstrap" cannot create certificatesigningrequests.certificates.k8s.io at the cluster scope

查看组件状态

kubectl get componentstatuses

[root@test2 ~]# kubectl get componentstatuses
Unable to connect to the server: x509: certificate signed by unknown authority
# 报错原因：经过排查后发现前面操作的几个步骤中 ${KUBE_APISERVER} 这个变量写成了 ${KUBE_  又重做了一遍，正确的结果是下面

[root@test2 ~]# kubectl get componentstatuses
NAME                 STATUS    MESSAGE              ERROR
scheduler            Healthy   ok
controller-manager   Healthy   ok
etcd-0               Healthy   {"health": "true"}  

# test1 节点安装到此结束，下面开始单独安装node节点

21、单独配置node 相关组件

环境配置

# 如下操作在所有节点操作

修改主机名

# 注意修改 各自节点对应的 主机名

sed -i '$a\hostname=test2' /etc/hostname
sed -i '$a\hostname=test2' /etc/sysconfig/network && hostnamectl set-hostname test2

配置hosts解析

cat >>/etc/hosts<<EOF
192.168.0.91 test1
192.168.0.92 test2
192.168.0.93 test3
EOF

禁用selinux

sed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinux

sed -i 's/enforcing/disabled/g' /etc/selinux/config

永久关闭swap

# 注释/etc/fstab文件里swap相关的行，需要重启

sed -i 's/\/dev\/mapper\/centos-swap/#\/dev\/mapper\/centos-swap/g' /etc/fstab

临时关闭swap

swapoff -a

关掉防火墙

systemctl stop firewalld && systemctl disable firewalld

重启

reboot

开启forward

iptables -P FORWARD ACCEPT

配置转发相关参数

cat >> /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
vm.swappiness=0
EOF

加载系统参数

sysctl --system

加载ipvs相关内核模块

# 如果重新开机，需要重新加载

modprobe ip_vs
modprobe ip_vs_rr
modprobe ip_vs_wrr
modprobe ip_vs_sh
modprobe nf_conntrack_ipv4
lsmod | grep ip_vs

21.1、安装docker

# 只在 test2 节点上操作

# 注意：docker和flannel是一体的，哪个节点上需要安装flannel,哪个节点上就需要安装docker

# docker 和kubelet组件、node状态有关系， 之前停掉docker后，kubelet组件会自动停掉；node节点会变成 NotReady 状态

# 但是停掉docker后，flanel、coredns 的pod 让然是 running 状态

# v1.11.0版本推荐使用docker v17.03, v1.11,v1.12,v1.13, 也可以使用，再高版本的docker可能无法正常使用。测试发现17.09无法正常使用，不能使用资源限制(内存CPU)

卸载自带docker

yum remove -y docker-ce docker-ce-selinux container-selinux

下载Docker镜像

下载链接：https://pan.baidu.com/s/1whfkq5wDODIew5_eqP63gA
提取码：xmqq 

下载链接：https://pan.baidu.com/s/1zZy_tbvuApZW2fsMPGv3Bg
提取码：u3t3 

添加至镜像仓库

rpm -ivh docker-ce-17.03.2.ce-1.el7.centos.x86_64.rpm
rpm -ivh docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch.rpm

用安装 Docker 和依赖包

yum install -y docker-ce-*.rpm 

开机启动 

systemctl enable docker 

启动 docker 服务 

systemctl start docker

21.2、部署 kubelet组件

# 只在test2 节点上操作

# kubelet的作用：向 test1 发起csr请求。

# 初次安装完 kubelet，只要第一次启动kubelet，通过kubelet get csr 就会得到这串字符串：node-csr-Yiiv675wUCvQl3HH11jDr0cC9p3kbrXWrxvG3EjWGoE

下载、解压安装包
mkdir -p /server/software/k8s
cd /server/software/k8s
下载链接：https://pan.baidu.com/s/1DXahqP8nXWP1aw5pIunJrw
提取码：9xfp
tar -xf kubernetes-server-linux-amd64.tar.gz

分发kubelet二进制文件

# 后面kubelet启动文件需要用到kubelet二进制文件路径

mkdir -p /usr/local/kubernetes/bin
cp /server/software/k8s/kubernetes/server/bin/kubelet /usr/local/kubernetes/bin    #这一步很关键

安装kubectl工具

# kubecctl工具和kubelet服务不是一回事。安装包解压后包括 kubectl 工具，所以不需要单独使用kubernetes-server-client-amd64.tar.gz 安装包分发 kubectl 工具

# kubectl作用：当kubelet组件通过bootstrap token 认证后，kubectl 默认会从 ~/.kube/config 文件读取 kube-apiserver 地址、证书、用户名等信息；

# admin.conf = ~/.kube/config，因为复制过来的 ；

cp /server/software/k8s/kubernetes/server/bin/kubectl /usr/local/bin/kubectl

查看 kubectl 版本，

# 出现下面的情况就是正确的。did you specify the right host or port? 这个报错忽略，因为还没有安装kubelet服务

kubectl version

[root@test1 bin]# kubectl version
Client Version: version.Info{Major:"", Minor:"", GitVersion:"v1.11.0", GitCommit:"91e7b4fd31fcd3d5f436da26c980becec37ceefe", GitTreeState:"clean", BuildDate:"2018-06-27T20:17:28Z", GoVersion:"go1.10.2", Compiler:"gc", Platform:"linux/amd64"}
The connection to the server localhost:8080 was refused - did you specify the right host or port?

cd $HOME

拷贝admin.conf

# 从test1上复制admin.conf到test2节点

test2上创建目录

mkdir -p /etc/kubernetes/

test2上复制

scp /etc/kubernetes/admin.conf root@192.168.0.92:/etc/kubernetes/

配置 /.kube/config 并且授权

# kubectl 默认从 ~/.kube/config 文件读取 kube-apiserver 地址、证书、用户名等信息，如果没有配置，执行 kubectl 命令时可能会出错：
# /.kube/config 和 admin.conf 内容是一样的，/.kube/config 是 admin.conf 复制过来的，改了下名字而已

rm -rf $HOME/.kube
mkdir -p $HOME/.kube
cp /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

拷贝bootstrap.conf

#从test1 上复制 bootstrap.conf 到test2 节点

# 后面kubelet服务启动参数中需要使用 kubelet-bootstrap.conf 向 kube-apiserver 发送 CSR 请求，

# 当kubelet服务通过bootstrap token 认证后，kubectl 默认会从 ~/.kube/config 文件读取 kube-apiserver 地址、证书、用户名等信息；

scp /etc/kubernetes/kubelet-bootstrap.conf root@192.168.0.92:/etc/kubernetes/

安装cni

# kubelet 的启动参数需要用到

cd /server/software/k8s

下载链接：https://pan.baidu.com/s/1DL1v4cH2SHUfobICjKXm3Q
提取码：puel
mkdir -p /opt/cni/bin
mkdir -p /etc/cni/net.d/
tar -xf cni-plugins-amd64-v0.7.1.tgz -C /opt/cni/bin
ls -l /opt/cni/bin

cd $HOME

配置启动kubelet

创建数据目录

mkdir -p /data/kubelet

配置kubelet启动文件

cat >/etc/systemd/system/kubelet.service<<EOF
[Unit]
Description=Kubernetes Kubelet Server
Documentation=https://github.com/kubernetes/kubernetes
After=docker.service
Requires=docker.service

[Service]
WorkingDirectory=/data/kubelet
EnvironmentFile=-/etc/kubernetes/config
EnvironmentFile=-/etc/kubernetes/kubelet
ExecStart=/usr/local/kubernetes/bin/kubelet \\
            \$KUBE_LOGTOSTDERR \\
            \$KUBE_LOG_LEVEL \\
            \$KUBELET_CONFIG \\
            \$KUBELET_HOSTNAME \\
            \$KUBELET_POD_INFRA_CONTAINER \\
            \$KUBELET_ARGS \
            \$CADVISOR
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

配置参数变量文件

cat >/etc/kubernetes/config<<EOF
KUBE_LOGTOSTDERR="--logtostderr=true"
KUBE_LOG_LEVEL="--v=2"
EOF

配置kubelet文件

# 注意修改kubelet文件里面的 --hostname-override= 要填写test1、test2、test3 这三个节点改成对应各自 ip ，或者各自的主机名。本实验写的主机名

# 如果--hostname-override= 填写的是ip，那么kubectl get nodes 得到的name就显示ip,如果填写的是主机名，得到的name就显示主机名

# image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause-amd64:3.1 这个镜像跟 kubectl get componentstatuses 获取不到资源没有关系,跟docker也没有关系

# 但是网上搜这个镜像，说这个镜像是基础镜像，目前被墙，最好下载放到本地 registry 上

# 注意 kubelet配置文件里面的参数kubelet.conf 是kubelet启动后生成的，不用管，就是这样写的

# 注意 /etc/kubernetes/pki 目录里面只放一个ca.pem 证书，

# 启动kubelet后/etc/kubernetes/pki 目录里面会自动生成四个文件 kubelet.crt、kubelet.key、kubelet-client-current.pem、kubelet-client-2019-01-22-10-07-06.pem

# CADVISOR 表明开启cadvisor监控，然后在启动文件中加上 ExecStart=$CADVISOR 就可以通过浏览器访问cadvisor监控，否则是无法访问的，

cat >/etc/kubernetes/kubelet<<EOF
KUBELET_HOSTNAME="--hostname-override=test2"
KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause-amd64:3.1"
CADVISOR="--cadvisor-port=4194 --storage-driver-db='cadvisor' --storage-driver-host='localhost:8086'"
KUBELET_CONFIG="--config=/etc/kubernetes/kubelet-config.yml"KUBELET_ARGS="--bootstrap-kubeconfig=/etc/kubernetes/kubelet-bootstrap.conf --kubeconfig=/etc/kubernetes/kubelet.conf --cert-dir=/etc/kubernetes/pki --network-plugin=cni --cni-bin-dir=/opt/cni/bin --cni-conf-dir=/etc/cni/net.d/"
EOF

拷贝ca.pem 证书

# 从test1 节点复制复制ca.pem 证书到test2 节点，下面kubelet-config.yml 文件参数需要用到 ca.pem

tes2上创建目录

mkdir -p /etc/kubernetes/pki

test1上复制文件

scp $HOME/ssl/ca.pem 192.168.0.92:/etc/kubernetes/pki/

配置kubelet-config.yml文件

# 注意修改kubelet-config.yml相关ip，test1 test2 test3 使用各自ip

# 注意下面kubelet-config.yml里面的clusterDNS 地址要和coredns.yaml 里面的 clusterIP 地址保持一致。只有kubelet、coredns里面有 10.96.0.10，其他的组件都没有

cat >/etc/kubernetes/kubelet-config.yml<<EOF
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address: 192.168.0.92
port: 10250
cgroupDriver: cgroupfs
clusterDNS:
  - 10.96.0.10
clusterDomain: cluster.local.
hairpinMode: promiscuous-bridge
serializeImagePulls: false
authentication:
  x509:
    clientCAFile: /etc/kubernetes/pki/ca.pem
EOF

启动
systemctl daemon-reload
systemctl enable kubelet
systemctl start kubelet            # 启动后就会生成csr
systemctl status kubelet

查看日志

# 启动 kubelet后查看日志会有报错

# 报错原因是因为kubelet配置了network-plugin=cni，但是还没安装网络插件 flannel，所以状态会是NotReady,会报上面的错误，不想看这个报错或者不需要网络，就修改kubelet配置文件，去掉network-plugin=cni 就可以了

[root@test2 ~]# journalctl -u kubelet |tail
network plugin is not ready: cni config uninitialized

21.3、通过csr请求

# 在 test2 节点上操作就可以

# 通过csr请求的目的就是要生成一个nodes 节点

# 注意：node-csr-Yiiv675wUCvQl3HH11jDr0cC9p3kbrXWrxvG3EjWGoE  这个长字符串是kubelet 初次启动后生成的，

# 查看csr

# 如果获取不到csr看日志会出现下面错误：

[root@test2 kubernetes]# journalctl -u kubelet |tail
failed to run Kubelet: cannot create certificate signing request: certificatesigningrequests.certificates.k8s.io is forbidden: User "kubelet-bootstrap" cannot create certificatesigningrequests.certificates.k8s.io at the cluster scope

# 原因是因为没有给kubelet-bootstrap授权，授权即可

kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap

kubectl get csr

执行结果

[root@test2 ~]# kubectl get csr
NAME                                                   AGE       REQUESTOR           CONDITION
node-csr-Yiiv675wUCvQl3HH11jDr0cC9p3kbrXWrxvG3EjWGoE   18s       kubelet-bootstrap   Pending
You have new mail in /var/spool/mail/root

通过csr请求，下面的长字符串填写上一步的结果，

kubectl certificate approve node-csr-Yiiv675wUCvQl3HH11jDr0cC9p3kbrXWrxvG3EjWGoE

执行结果：

[root@test2 ~]# kubectl certificate approve node-csr-Yiiv675wUCvQl3HH11jDr0cC9p3kbrXWrxvG3EjWGoE
certificatesigningrequest.certificates.k8s.io/node-csr-Yiiv675wUCvQl3HH11jDr0cC9p3kbrXWrxvG3EjWGoE approved

查看kubelet启动后生成的文件

说明：kubelet 启动后使用 --bootstrap-kubeconfig 向 kube-apiserver 发送 CSR 请求，当这个 CSR 被 approve 后，kube-controller-manager 为 kubelet 创建 TLS 客户端证书、私钥和 --kubeletconfig 文件。

kubelet.conf文件决定了csr的存在，如果要想重新获取csr,可以停掉kubelet，删除kubelet.conf文件，重启kubelet就可以获得csr

ls -l /etc/kubernetes/kubelet.conf
ls -l /etc/kubernetes/pki/kubelet*

查看结果

[root@test2 ~]# ls -l /etc/kubernetes/kubelet.conf
-rw------- 1 root root 2295 Jan 22 10:07 /etc/kubernetes/kubelet.conf

[root@test2 ~]# ls -l /etc/kubernetes/pki/kubelet*
-rw------- 1 root root 1273 Jan 22 10:07 /etc/kubernetes/pki/kubelet-client-2019-01-22-10-07-06.pem
lrwxrwxrwx 1 root root   58 Jan 22 10:07 /etc/kubernetes/pki/kubelet-client-current.pem -> /etc/kubernetes/pki/kubelet-client-2019-01-22-10-07-06.pem
-rw-r--r-- 1 root root 2181 Jan 22 02:10 /etc/kubernetes/pki/kubelet.crt
-rw------- 1 root root 1675 Jan 22 02:10 /etc/kubernetes/pki/kubelet.key

查看节点

# 此时节点状态为 NotReady，需要安装flannel网络后才可以ready；

# 但是此时就可以设置集群角色

# 此时查看只有一个node节点是因为test1 上并没有安装 kubelet 组件，只要 test1 安装上kubelet并且启动成功，就会生成csr,通过csr后，就会成为node节点

# 如果 test1 上也安装了kubelet,就可以把 test1 节点设置为master,因为 test1 节点上面安装了 kube-apiserver、 kube-controller-manager、kube-scheduler

# tes2 节点必须是node 节点，因为它没有安装  kube-apiserver、 kube-controller-manager、kube-scheduler 这几个组件

kubectl get nodes

[root@test2 ~]# kubectl get nodes
NAME           STATUS     ROLES     AGE       VERSION
test2          NotReady   <none>    9h        v1.11.0

设置集群角色

# 在test2 节点上操作就可以

# 设置 test2 为 node 角色

kubectl label nodes test2 node-role.kubernetes.io/node=

[root@test2 ~]# kubectl label nodes test2 node-role.kubernetes.io/node=
node/test2 labeled

再次查看节点

[root@test2 ~]# kubectl get nodes
NAME  STATUS    ROLES  AGE  VERSION
test2 NotReady  node   2m   v1.11.0

21.4、配置启动kube-proxy 

# 只在 test2 节点上操作

# 注意：关掉 kube-proxy 后仍然可以访问 svc curl "10.103.38.143:80" ，kube-proxy 的作用目前还没有发现

下载、解压安装包（省略）

cd /server/software/k8s

下载链接：https://pan.baidu.com/s/1DXahqP8nXWP1aw5pIunJrw
提取码：9xfp

tar -xf kubernetes-server-linux-amd64.tar.gz

分发kube-proxy二进制文件

# 后面kube-proxy.service启动文件需要用到kube-proxy二进制文件路径

mkdir -p /usr/local/kubernetes/bin
cp /server/software/k8s/kubernetes/server/bin/kube-proxy /usr/local/kubernetes/bin    #这一步很关键

安装依赖包

yum install -y conntrack-tools

拷贝kube-proxy.conf文件

把 test1 节点上的kube-proxy.conf复制到/etc/kubernetes/ 目录下，kube-proxy.service启动参数中proxy文件需要用到kube-proxy.conf

scp /etc/kubernetes/kube-proxy.conf 192.168.0.92:/etc/kubernetes/

配置启动文件

cat >/etc/systemd/system/kube-proxy.service<<EOF
[Unit]
Description=Kubernetes Kube-Proxy Server
Documentation=https://github.com/kubernetes/kubernetes
After=network.target

[Service]
EnvironmentFile=-/etc/kubernetes/config
EnvironmentFile=-/etc/kubernetes/proxy
ExecStart=/usr/local/kubernetes/bin/kube-proxy \\
        \$KUBE_LOGTOSTDERR \\
        \$KUBE_LOG_LEVEL \\
        \$KUBECONFIG \\
        \$KUBE_PROXY_ARGS
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF

配置参数变量文件

# 前面配置kubelet组件时已经配置过参数变量文件，这里就不需要配置，写在这里这是知道是怎么回事

cat >/etc/kubernetes/config<<EOF
KUBE_LOGTOSTDERR="--logtostderr=true"
KUBE_LOG_LEVEL="--v=2"
EOF

配置proxy文件

# 注意修改相关ip，test1 test2 test3 使用各自ip

# 看下面proxy文件'--proxy-mode=iptables',由于采用iptables模式，因为 ipvs 模式在centos7上有bug无法正常使用，1.11.0 以后的版本就可使用 ipvs 模式了，

# 本实验采用centos7.5、kubernetes 1.11.0 版本，所以使用iptables模式，

# 特别注意：下面的cluster-cidr地址要和controller-manager里面的cluster-cidr、flannel 里面的Network 地址保持一致，这有这三个组件里面有 10.244.0.0

cat >/etc/kubernetes/proxy<<EOF
KUBECONFIG="--kubeconfig=/etc/kubernetes/kube-proxy.conf"
KUBE_PROXY_ARGS="--bind-address=192.168.0.92 --proxy-mode=iptables --hostname-override=192.168.0.92 --cluster-cidr=10.244.0.0/16"
EOF

启动
systemctl daemon-reload
systemctl enable kube-proxy
systemctl start kube-proxy
systemctl status kube-proxy

21.5、安装flannel网络

# 只在test2 节点上操作

# flannel 作用之一： 让 node节点从 NotReady状态变为ready状态

# 注意： flanel 只需要安装一次，不需要再往 test1 节点或者test2 节点上安装 flanel

# 只有在安装了docker的节点上才可以安装flannel

# 注意下面的网卡名称要填写对应的网卡名称

下载配置文件

mkdir flannel && cd flannel

下载链接：https://pan.baidu.com/s/1kdrYzXYzURTzO_tXtv_R1A
提取码：3kgd 

查看下载的文件

[root@test2 flannel]# ls
kube-flannel.yml

修改ip地址:

# flannel网络 分三种网络 node network、service network、flannel network

# node network：承载kubernetes集群中各个“物理”Node(master和node)通信的网络

# 下面Network 就是 node network，因为当前还没有安装 flannel，test2 节点为 NotReady 状态；安装完 flannel后就是ready状态，

# 特别注意：下面的Network 地址要和controller-manager里面的cluster-cidr、kube-proxy里面的 cluster-cidr地址保持一致，这有这三个组件里面有 10.244.0.0

[root@test2 flannel]# vi kube-flannel.yml 

  net-conf.json: |
    {
      "Network": "10.244.0.0/16",
      "Backend": {
        "Type": "vxlan"
      }
    }

修改镜像

# 由于自带的镜像被墙，无法下载，所以修改镜像为国内源 image: registry.cn-shanghai.aliyuncs.com/gcr-k8s/flannel:v0.10.0-amd64

# 注意 kube-flannel.yml 文件里面有两个 镜像都需要改

[root@test2 flannel]# vi kube-flannel.yml
    containers:
      - name: kube-flannel
        image: registry.cn-shanghai.aliyuncs.com/gcr-k8s/flannel:v0.10.0-amd64
        command:
        - /opt/bin/flanneld
        args:
        - --ip-masq
        - --kube-subnet-mgr
        - --iface=ens33

添加网卡参数

# 注意 - --iface=ens33 这个ens33 是 192.168.0.92 这台虚拟机的网卡信息

# 如果Node有多个网卡的话，参考flannel issues 39701，https://github.com/kubernetes/kubernetes/issues/39701

# 目前需要在kube-flannel.yml中使用--iface参数指定集群主机内网网卡的名称，否则可能会出现dns无法解析。容器无法通信的情况，

# flanneld启动参数加上--iface=<iface-name>

[root@test2 flannel]# vi kube-flannel.yml
    containers:
      - name: kube-flannel
        image: registry.cn-shanghai.aliyuncs.com/gcr-k8s/flannel:v0.10.0-amd64
        command:
        - /opt/bin/flanneld
        args:
        - --ip-masq
        - --kube-subnet-mgr
        - --iface=ens33

启动flanel

kubectl apply -f kube-flannel.yml

查看pod

# 如果flanel启动失败，很有可能镜像拉取失败，所以最好还是自建一个镜像仓库。有点慢等一会

kubectl get pods -n kube-system
kubectl get svc

[root@test2 flannel]# kubectl get pods -n kube-system
NAME                    READY     STATUS    RESTARTS   AGE
kube-flannel-ds-zb2r2   1/1       Running   0          18s

[root@test2 flannel]# kubectl get svc
NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP   22h

查看节点状态

# 当 flannel pod 全部启动之后，节点状态才为 Ready

kubectl get no

[root@test2 flannel]# kubectl get no
NAME           STATUS    ROLES     AGE       VERSION
test2          Ready     node      11h       v1.11.0

21.6、安装coredns

# 只在 test2 节点上操作

# coredns的作用：是实现pod里面的DNS解析，就是可以通过svc(service)来访问服务，例如：curl nginx-service ，curl + svc

# 注意：coredns 只安装一次就可以，不需要再往master角色或 其他node角色上安装

# 注意下面用的 coredns 1.2.0 版本 

安装jq工具

# 之前安装coredns报错找不到jq, 所以配置jq 源，然后用yum安装，安装jq 参照：https://www.cnblogs.com/effortsing/p/10307424.html

yum install jq -y

下载coredns安装文件

cd $HOME && mkdir coredns && cd coredns

下载链接：https://pan.baidu.com/s/1z7x4z2k2w3rdhOt89FDPww
提取码：7vkf 

查看下载的文件

[root@test2 coredns]# ls
coredns.yaml

修改配置文件

# 把文件里面的ip地址修改为10.96.0.10， 

# 注意：下面coredns.yaml里面的clusterIP 地址要和 kubelet组件中kubelet-config.yml 配置文件里面的 clusterDNS 地址保持一致。只有kubelet、coredns里面有 10.96.0.10

[root@test2 coredns]# vi coredns.yaml
spec:
  selector:
    k8s-app: kube-dns
  clusterIP: 10.96.0.10
  ports:

启动coredns

kubectl apply -f coredns.yaml

查看coredns

# 过几分钟才会running ,有点慢

kubectl get pods -n kube-system
kubectl get svc -n kube-system

[root@test2 coredns]# kubectl get pods -n kube-system
NAME                       READY     STATUS    RESTARTS   AGE
coredns-6c65fc5cbb-8ntpv   1/1       Running   0          34m
coredns-6c65fc5cbb-sj65c   1/1       Running   0          34m
kube-flannel-ds-zb2r2      1/1       Running   0          2h

[root@test2 coredns]# kubectl get svc -n kube-system
NAME       TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)         AGE
kube-dns   ClusterIP   10.96.0.10   <none>        53/UDP,53/TCP   34m

测试coredns功能

# 启动一个nginx容器，然后进行访问nginx服务进行测试看是否能访问

下载nginx.yaml文件

下载链接：https://pan.baidu.com/s/1PV8jyDhb8yBy6uyaeMMpSQ
提取码：xt5f 

查看下载的文件

[root@test2 ~]# ls
nginx.yaml

配置nginx镜像

# 用docker 找一个简单的nginx镜像，替换 nginx.yaml 里面的镜像，因为nginx.yaml里面的镜像都已经过时，无法下载

docker search nginx

[root@test2 ~]# docker search nginx
nginxdemos/hello         NGINX webserver that serves a simple page ...   9                    [OK]

[root@test2 ~]# vi nginx.yaml
    spec:
      containers:
      - name: http-test-con
        image: nginxdemos/hello
        ports:
        - containerPort: 80

创建nginx实例

# 需要过几分钟，拉取镜像很慢的，

kubectl create -f nginx.yaml 

查看pod状态

# 注意：使用kubectl工具养成带上命名空间的习惯，虽然不带default命名空间默认带着的，但是这是个习惯，之前总是因为没有带命名空间出错，排查半天，单耽误时间，

kubectl get deploy -o wide -n default
kubectl get pods -o wide -n default
kubectl get svc -o wide -n default
kubectl describe svc example-service -n default

[root@test2 ~]# kubectl get deploy -o wide -n default
NAME            DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE       CONTAINERS      IMAGES             SELECTOR
http-test-dm2   1         1         1            1           52m       http-test-con   nginxdemos/hello   name=http-test-dm2

[root@test2 ~]# kubectl get pods -o wide -n default
NAME                             READY     STATUS    RESTARTS   AGE       IP            NODE
http-test-dm2-76d4b58b47-f4pqm   1/1       Running   0          52m       10.244.0.12   192.168.0.92

[root@test2 ~]# kubectl get svc -o wide -n default
NAME             TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE       SELECTOR
http-nginx-ser   NodePort    10.103.38.143   <none>        80:31000/TCP   5m        name=http-test-dm2
kubernetes       ClusterIP   10.96.0.1       <none>        443/TCP        1d        <none>

[root@test2 ~]# kubectl describe pod http-test-dm2-76d4b58b47-f4pqm -n default

容器内测试coredns解析 

# 启动一个具有解析功能的 dns 实例，然后进到 pod 里面用 nslookup、curl 工具进行访问测试，下面这个实例启动慢，等几分钟，

# 如果启动失败，通过看日志得知无法拉取镜像 infoblox/dnstools，很可能这个镜像不存在了，那就通过 docker search dns 找一个dns镜像代替infoblox/dnstools镜像

kubectl run -it --rm --image=infoblox/dnstools dns-client
nslookup kubernetes
nslookup nginx-service
curl nginx-service

执行结果：

[root@test2 ~]# kubectl run -it --rm --image=infoblox/dnstools dns-client
If you don't see a command prompt, try pressing enter.

dnstools# nslookup kubernetes
Server:        10.96.0.10
Address:    10.96.0.10#

Name:    kubernetes.default.svc.cluster.local
Address: 10.96.0.1

dnstools# nslookup http-nginx-ser
Server:        10.96.0.10
Address:    10.96.0.10#

Name:    http-nginx-ser.default.svc.cluster.local
Address: 10.103.38.143

dnstools# curl http-nginx-ser
<!DOCTYPE html>
<html>
<head>
<title>Hello World</title>

容器外测试coredns解析

# 注意：是在 test2 节点进行访问访测试的，

# 如果此时 去 test1 节点*问，是无法访问的，因为test1 节点上还没有安装kubelet，什么角色也不是，只要成为node或master角色 就可以访问，测试过

# 如果test1节点安装了 kubelet，并且是ready状态，就一定能通过 curl "10.103.38.143:80"  访问到，已经测试过，

# coredns 可能是节点内部域名解析，Traefik-ingress是节点外部域名解析

# 10.103.38.143 是查看svc时获取到的clusterip，svc是service的缩写

curl "10.103.38.143:80"

执行结果：

[root@test2 ~]# curl "10.103.38.143:80" -n default
<!DOCTYPE html>
<html>
<head>
<title>Hello World</title>

通过浏览器访问测试

# 31000 是查看svc时获取到的 nodeport

http://192.168.0.92:31000/

22、关机重启验证

# 两个节点都操作

# test1、test2 节点都关机重启，重新执行上面的过程验证是否完好。本实验重启这两个节点后一切是正常的

清理

kubectl delete -f nginx.yaml

23、回头配置 test1 节点加入集群

# 只在test1 节点上操作

# 目的是 在 test1 节点上安装node组件，设置test1节点为master节点。

# 注意：不管要设置master角色 还是设置为node角色，前提必须先安装node组件，主要是kubelet 组件。就是说先把节点加入集群，才能设置角色，

# 加入集群就是安装启动 kubelet 组件，通过csr请求后，就可以加入集群，然后才可以设置集群角色

23.1、安装docker

# 只在 test1 节点上操作

# 注意：docker和flannel是一体的，哪个节点上需要安装flannel,哪个节点上就需要安装docker

# docker 和kubelet组件、node状态有关系， 之前停掉docker后，kubelet组件会自动停掉；node节点会变成 NotReady 状态

# 但是停掉docker后，flanel、coredns 的pod 让然是 running 状态

# v1.11.0版本推荐使用docker v17.03, v1.11,v1.12,v1.13, 也可以使用，再高版本的docker可能无法正常使用。测试发现17.09无法正常使用，不能使用资源限制(内存CPU)

卸载自带docker

yum remove -y docker-ce docker-ce-selinux container-selinux

下载Docker镜像

下载链接：https://pan.baidu.com/s/1whfkq5wDODIew5_eqP63gA
提取码：xmqq 

下载链接：https://pan.baidu.com/s/1zZy_tbvuApZW2fsMPGv3Bg
提取码：u3t3 

添加至镜像仓库

rpm -ivh docker-ce-17.03.2.ce-1.el7.centos.x86_64.rpm
rpm -ivh docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch.rpm

用安装 Docker 和依赖包

yum install -y docker-ce-*.rpm 

开机启动 

systemctl enable docker 

启动 docker 服务 

systemctl start docker

23.2、部署 kubelet组件

# 只在test1 节点上操作

# kubelet的作用：向 test1 发起csr请求。

# 初次安装完 kubelet，只要第一次启动kubelet，通过kubelet get csr 就会得到这串字符串：node-csr-Yiiv675wUCvQl3HH11jDr0cC9p3kbrXWrxvG3EjWGoE

下载、解压安装包

mkdir -p /server/software/k8s
cd /server/software/k8s
下载链接：https://pan.baidu.com/s/1DXahqP8nXWP1aw5pIunJrw
提取码：9xfp
tar -xf kubernetes-server-linux-amd64.tar.gz

分发kubelet二进制文件

# 后面kubelet启动文件需要用到kubelet二进制文件路径

mkdir -p /usr/local/kubernetes/bin
cp /server/software/k8s/kubernetes/server/bin/kubelet /usr/local/kubernetes/bin    #这一步很关键

查看组件状态

kubectl get componentstatuses

[root@test1 ~]# kubectl get componentstatuses
Unable to connect to the server: x509: certificate signed by unknown authority
# 报错原因：经过排查后发现前面操作的几个步骤中 ${KUBE_APISERVER} 这个变量写成了 ${KUBE_  又重做了一遍，正确的结果是下面

[root@test2 ~]# kubectl get componentstatuses
NAME                 STATUS    MESSAGE              ERROR
scheduler            Healthy   ok
controller-manager   Healthy   ok
etcd-0               Healthy   {"health": "true"}  

配置 /.kube/config 并且授权

# kubectl 默认从 ~/.kube/config 文件读取 kube-apiserver 地址、证书、用户名等信息，如果没有配置，执行 kubectl 命令时可能会出错：
# /.kube/config 和 admin.conf 内容是一样的，/.kube/config 是 admin.conf 复制过来的，改了下名字而已

rm -rf $HOME/.kube
mkdir -p $HOME/.kube
cp /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

安装cni

# kubelet 的启动参数需要用到

cd /server/software/k8s

下载链接：https://pan.baidu.com/s/1DL1v4cH2SHUfobICjKXm3Q
提取码：puel
mkdir -p /opt/cni/bin
tar -xf cni-plugins-amd64-v0.7.1.tgz -C /opt/cni/bin
ls -l /opt/cni/bin

cd $HOME

配置启动kubelet

创建数据目录

mkdir -p /data/kubelet

配置kubelet启动文件

cat >/etc/systemd/system/kubelet.service<<EOF
[Unit]
Description=Kubernetes Kubelet Server
Documentation=https://github.com/kubernetes/kubernetes
After=docker.service
Requires=docker.service

[Service]
WorkingDirectory=/data/kubelet
EnvironmentFile=-/etc/kubernetes/config
EnvironmentFile=-/etc/kubernetes/kubelet
ExecStart=/usr/local/kubernetes/bin/kubelet \\
            \$KUBE_LOGTOSTDERR \\
            \$KUBE_LOG_LEVEL \\
            \$KUBELET_CONFIG \\
            \$KUBELET_HOSTNAME \\
            \$KUBELET_POD_INFRA_CONTAINER \\
            \$KUBELET_ARGS \\
            \$CADVISOR
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

配置参数变量文件

cat >/etc/kubernetes/config<<EOF
KUBE_LOGTOSTDERR="--logtostderr=true"
KUBE_LOG_LEVEL="--v=2"
EOF

配置kubelet文件

# 注意修改kubelet文件里面的 --hostname-override= 要填写test1、test2、test3 这三个节点改成对应各自 ip ，或者各自的主机名。本实验写的是主机名

# 如果--hostname-override= 填写的是ip，那么kubectl get nodes 得到的name就显示ip,如果填写的是主机名，得到的name就显示主机名

# image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause-amd64:3.1 这个镜像跟 kubectl get componentstatuses 获取不到资源没有关系,跟docker也没有关系

# 但是网上搜这个镜像，说这个镜像是基础镜像，目前被墙，最好下载放到本地 registry 上

# 注意 kubelet配置文件里面的参数kubelet.conf 是kubelet启动后生成的，不用管，就是这样写的

# 注意 /etc/kubernetes/pki 目录里面只放一个ca.pem 证书，

# 启动kubelet后/etc/kubernetes/pki 目录里面会自动生成四个文件 kubelet.crt、kubelet.key、kubelet-client-current.pem、kubelet-client-2219-01-22-10-07-06.pem

# CADVISOR 表明开启cadvisor监控，然后在启动文件中加上 ExecStart=$CADVISOR 就可以通过浏览器访问cadvisor监控，否则是无法访问的，

cat >/etc/kubernetes/kubelet<<EOF
KUBELET_HOSTNAME="--hostname-override=test2"
KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause-amd64:3.1"
KUBELET_CONFIG="--config=/etc/kubernetes/kubelet-config.yml"
CADVISOR="--cadvisor-port=4194 --storage-driver-db='cadvisor' --storage-driver-host='localhost:8086'"
KUBELET_ARGS="--bootstrap-kubeconfig=/etc/kubernetes/kubelet-bootstrap.conf --kubeconfig=/etc/kubernetes/kubelet.conf --cert-dir=/etc/kubernetes/pki --network-plugin=cni --cni-bin-dir=/opt/cni/bin --cni-conf-dir=/etc/cni/net.d"
EOF

配置kubelet-config.yml文件

# 注意修改kubelet-config.yml相关ip，test1 test2 test3 使用各自ip

# 注意下面kubelet-config.yml里面的clusterDNS 地址要和coredns.yaml 里面的 clusterIP 地址保持一致。只有kubelet、coredns里面有 10.96.0.10，其他的组件都没有

cat >/etc/kubernetes/kubelet-config.yml<<EOF
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address: 192.168.0.91
port: 10250
cgroupDriver: cgroupfs
clusterDNS:
  - 10.96.0.10
clusterDomain: cluster.local.
hairpinMode: promiscuous-bridge
serializeImagePulls: false
authentication:
  x509:
    clientCAFile: /etc/kubernetes/pki/ca.pem
EOF

启动
systemctl daemon-reload
systemctl enable kubelet
systemctl start kubelet            # 启动后就会生成 csr
systemctl status kubelet

查看日志

# 启动 kubelet后查看日志会有报错

# 报错原因是因为kubelet配置了network-plugin=cni，但是还没安装网络插件 flannel，所以状态会是NotReady,会报上面的错误，不想看这个报错或者不需要网络，就修改kubelet配置文件，去掉network-plugin=cni 就可以了

[root@test2 ~]# journalctl -u kubelet |tail
network plugin is not ready: cni config uninitialized

23.3、通过csr请求

# 在 test1 节点上操作，也可以在test2 节点上操作

# 通过csr请求的目的就是要加入集群

# 注意：node-csr-Yiiv675wUCvQl3HH11jDr0cC9p3kbrXWrxvG3EjWGoE  这个长字符串是kubelet 初次启动后生成的，

# 在test2 节点上操作就可以

查看csr

# 如果获取不到csr看日志会出现下面错误：

[root@test2 kubernetes]# journalctl -u kubelet |tail
failed to run Kubelet: cannot create certificate signing request: certificatesigningrequests.certificates.k8s.io is forbidden: User "kubelet-bootstrap" cannot create certificatesigningrequests.certificates.k8s.io at the cluster scope

# 原因是因为没有给kubelet-bootstrap授权，授权即可

kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap

kubectl get csr

执行结果

[root@test1 ~]# kubectl get csr
NAME                                                   AGE       REQUESTOR           CONDITION
node-csr-0BVhjayOeu96EHndLS4vC4bijfh9zr2gH6iJCsmfOvQ   18s       kubelet-bootstrap   Pending

通过csr请求，下面的长字符串填写上一步的结果，

kubectl certificate approve node-csr-0BVhjayOeu96EHndLS4vC4bijfh9zr2gH6iJCsmfOvQ

[root@test1 ~]# kubectl certificate approve node-csr-0BVhjayOeu96EHndLS4vC4bijfh9zr2gH6iJCsmfOvQ
certificatesigningrequest.certificates.k8s.io/node-csr-0BVhjayOeu96EHndLS4vC4bijfh9zr2gH6iJCsmfOvQ approved

查看kubelet启动后生成的文件

说明：kubelet 启动后使用 --bootstrap-kubeconfig 向 kube-apiserver 发送 CSR 请求，当这个 CSR 被 approve 后，kube-controller-manager 为 kubelet 创建 TLS 客户端证书、私钥和 --kubeletconfig 文件。

kubelet.conf文件决定了csr的存在，如果要想重新获取csr,可以停掉kubelet，删除kubelet.conf文件，重启kubelet就可以获得csr

ls -l /etc/kubernetes/kubelet.conf
ls -l /etc/kubernetes/pki/kubelet*

查看结果

[root@test2 ~]# ls -l /etc/kubernetes/kubelet.conf
-rw------- 1 root root 2295 Jan 22 10:07 /etc/kubernetes/kubelet.conf

[root@test2 ~]# ls -l /etc/kubernetes/pki/kubelet*
-rw------- 1 root root 1273 Jan 22 10:07 /etc/kubernetes/pki/kubelet-client-2019-01-22-10-07-06.pem
lrwxrwxrwx 1 root root   58 Jan 22 10:07 /etc/kubernetes/pki/kubelet-client-current.pem -> /etc/kubernetes/pki/kubelet-client-2019-01-22-10-07-06.pem
-rw-r--r-- 1 root root 2181 Jan 22 02:10 /etc/kubernetes/pki/kubelet.crt
-rw------- 1 root root 1675 Jan 22 02:10 /etc/kubernetes/pki/kubelet.key

查看节点状态

# 之前做完上一步，就去吃饭了，饭后回来正想安装 flanel,突然一看 192.168.0.91是Ready状态，所以等一会状态就会发生改变

# 解释：此时节点状态为Ready，因为test2 节点已经安装过 flannel,这里就不需要再安装。所以只要通过csr就是ready状态，

[root@test1 ~]# kubectl get nodes
NAME           STATUS    ROLES         AGE       VERSION
test1          Ready     <none>        2h        v1.11.0
test2          Ready     node          21h       v1.11.0

设置集群角色

# 在test1 节点上操作

# 设置 test1 为 master 角色

kubectl label nodes test1 node-role.kubernetes.io/master=

# 设置 master 一般情况下不接受负载
kubectl taint nodes test1 node-role.kubernetes.io/master=true:NoSchedule

master运行pod

kubectl taint nodes master.k8s node-role.kubernetes.io/master-

master不运行pod

kubectl taint nodes master.k8s node-role.kubernetes.io/master=:NoSchedule

执行结果：

[root@test1 ~]# kubectl label nodes test1 node-role.kubernetes.io/master=
node/192.168.0.91 labeled

[root@master ~]# kubectl get nodes
NAME           STATUS    ROLES         AGE       VERSION
test1          Ready     master        2h        v1.11.0
test1          Ready     node           21h       v1.11.0

[root@test1 k8s]# kubectl taint nodes test1 node-role.kubernetes.io/master=true:NoSchedule
node/test1 tainted

23.4、配置启动kube-proxy 

# 只在 test1 节点上操作

# 注意：关掉 kube-proxy 后仍然可以访问 svc curl "10.103.38.143:80" ，kube-proxy 的作用目前还没有发现

下载、解压安装包

mkdir -p /server/software/k8s

cd /server/software/k8s

下载链接：https://pan.baidu.com/s/1DXahqP8nXWP1aw5pIunJrw
提取码：9xfp

tar -xf kubernetes-server-linux-amd64.tar.gz

分发kube-proxy二进制文件

# 后面kube-proxy.service启动文件需要用到kube-proxy二进制文件路径

mkdir -p /usr/local/kubernetes/bin
cp /server/software/k8s/kubernetes/server/bin/kube-proxy /usr/local/kubernetes/bin    #这一步很关键

安装依赖包

yum install -y conntrack-tools

拷贝kube-proxy.conf文件

把 test1 节点上的kube-proxy.conf复制到/etc/kubernetes/ 目录下，kube-proxy.service启动参数中proxy文件需要用到kube-proxy.conf

cp /etc/kubernetes/kube-proxy.conf /etc/kubernetes/

配置启动文件
cat >/etc/systemd/system/kube-proxy.service<<EOF
[Unit]
Description=Kubernetes Kube-Proxy Server
Documentation=https://github.com/kubernetes/kubernetes
After=network.target

[Service]
EnvironmentFile=-/etc/kubernetes/config
EnvironmentFile=-/etc/kubernetes/proxy
ExecStart=/usr/local/kubernetes/bin/kube-proxy \\
        \$KUBE_LOGTOSTDERR \\
        \$KUBE_LOG_LEVEL \\
        \$KUBECONFIG \\
        \$KUBE_PROXY_ARGS
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF

配置参数变量文件

# 前面配置kubelet组件时已经配置过参数变量文件，这里就不需要配置，写在这里这是知道是怎么回事

cat >/etc/kubernetes/config<<EOF
KUBE_LOGTOSTDERR="--logtostderr=true"
KUBE_LOG_LEVEL="--v=2"
EOF

配置proxy文件

# 注意修改相关ip，test1 test2 test3 使用各自ip

# 看下面proxy文件'--proxy-mode=iptables',由于采用iptables模式，因为 ipvs 模式在centos7上有bug无法正常使用，1.11.0 以后的版本就可使用 ipvs 模式了，

# 本实验采用centos7.5、kubernetes 1.11.0 版本，所以使用iptables模式，

# 特别注意：下面的cluster-cidr地址要和controller-manager里面的cluster-cidr、flannel 里面的Network 地址保持一致，这有这三个组件里面有 10.244.0.0

cat >/etc/kubernetes/proxy<<EOF
KUBECONFIG="--kubeconfig=/etc/kubernetes/kube-proxy.conf"
KUBE_PROXY_ARGS="--bind-address=192.168.0.91 --proxy-mode=iptables --hostname-override=192.168.0.91 --cluster-cidr=10.244.0.0/16"
EOF

启动
systemctl daemon-reload
systemctl enable kube-proxy
systemctl start kube-proxy
systemctl status kube-proxy

23.5、容器外测试coredns解析

# 只在 test1 节点上操作

# 由于之前 test2节点已经安装过coredns，所以 test1节点就不需要安装了，直接测试

# 这里的 10.103.38.143:80 是之前在 test2 节点上查询svc 得到的结果

# 访问成功，

[root@master k8s]# curl "10.103.38.143:80"
<!DOCTYPE html>
<html>
<head>
<title>Hello World</title>

23.6、浏览器访问 cadvisor监控服务

浏览器访问http://192.168.0.91:4194/

参照文档：
http://www.maogx.win/posts/35/
http://www.maogx.win/
https://juejin.im/user/59ffa2836fb9a0451c39c64f/posts
http://blog.itpub.net/10995764/viewspace-2124022/