基于K8S的StatefulSet部署MySQL集群

时间：2022-02-12 21:39:44

基于K8S的StatefulSet部署MySQL集群

环境：

基于K8S的StatefulSet部署MySQL集群

# 采用NFS存储卷的方式 持久化存储mysql数据目录

需求：

展示如何使用 StatefulSet 控制器运行一个有状态的应用程序。此例是多副本的 MySQL 数据库。 示例应用的拓扑结构有一个主服务器和多个副本，使用异步的基于行(Row-Based) 的数据复制。

基于K8S的StatefulSet部署MySQL集群
  • 搭建一个“主从复制”(Maser-Slave Replication)的 MySQL 集群
  • 存在一个主节点【master】，有多个从节点【slave】
  • 从节点可以水平拓展
  • 所有的写操作，只能在主节点上执行
  • 读操作可以在所有节点上执行

一、部署NFS服务器

  1. #服务器安装nfs服务，提供nfs存储功能
  2. 1、安装nfs-utils
  3. yuminstallnfs-utils(centos)
  4. 或者apt-getinstallnfs-kernel-server(ubuntu)
  5.  
  6. 2、启动服务
  7. systemctlenablenfs-server
  8. systemctlstartnfs-server
  9.  
  10. 3、创建共享目录完成共享配置
  11. mkdir/home/nfs#创建共享目录
  12.  
  13. 4、编辑共享配置
  14. vim/etc/exports
  15. #语法格式：共享文件路径客户机地址（权限）#这里的客户机地址可以是IP,网段，域名,也可以是任意*
  16. /home/nfs*(rw,async,no_root_squash)
  1. #服务器安装nfs服务，提供nfs存储功能
  2. 1、安装nfs-utils
  3. yuminstallnfs-utils(centos)
  4. 或者apt-getinstallnfs-kernel-server(ubuntu)
  5.  
  6. 2、启动服务
  7. systemctlenablenfs-server
  8. systemctlstartnfs-server
  9.  
  10. 3、创建共享目录完成共享配置
  11. mkdir/home/nfs#创建共享目录
  12.  
  13. 4、编辑共享配置
  14. vim/etc/exports
  15. #语法格式：共享文件路径客户机地址（权限）#这里的客户机地址可以是IP,网段，域名,也可以是任意*
  16. /home/nfs*(rw,async,no_root_squash)
  1. 服务自检命令
  2. exportfs-arv
  3.  
  4.  
  5. 5、重启服务
  6. systemctlrestartnfs-server
  7.  
  8.  
  9. 6、本机查看nfs共享目录
  10. #showmount-e服务器IP地址(如果提示命令不存在，则需要yuminstallshowmount)
  11.  
  12. showmount-e127.0.0.1
  13. /home/nfs*
  14.  
  15.  
  16.  
  17. 7、客户端模拟挂载[所有k8s的节点都需要安装客户端]
  18. [root@master-1~]#yuminstallnfs-utils（centos）
  19. 或者apt-getinstallnfs-common（ubuntu）
  20. [root@master-1~]#mkdir/test
  21. [root@master-1~]#mount-tnfs172.16.201.209:/home/nfs/test
  22.  
  23. #取消挂载
  24. [root@master-1~]#umount/test

二、配置PV 动态供给(NFS StorageClass)，创建pvc

部署NFS实现自动创建PV插件： 一共设计到4个yaml 文件 ，官方的文档有详细的说明

https://github.com/kubernetes-incubator/external-storage

基于K8S的StatefulSet部署MySQL集群
基于K8S的StatefulSet部署MySQL集群
  1. root@k8s-master1:~#mkdir/root/pvc
  2. root@k8s-master1:~#cd/root/pvc

创建rbac.yaml 文件

  1. root@k8s-master1:pvc#catrbac.yaml
  2. kind:ServiceAccount
  3. apiVersion:v1
  4. metadata:
  5. name:nfs-client-provisioner
  6. ---
  7. kind:ClusterRole
  8. apiVersion:rbac.authorization.k8s.io/v1
  9. metadata:
  10. name:nfs-client-provisioner-runner
  11. rules:
  12. -apiGroups:[""]
  13. resources:["persistentvolumes"]
  14. verbs:["get","list","watch","create","delete"]
  15. -apiGroups:[""]
  16. resources:["persistentvolumeclaims"]
  17. verbs:["get","list","watch","update"]
  18. -apiGroups:["storage.k8s.io"]
  19. resources:["storageclasses"]
  20. verbs:["get","list","watch"]
  21. -apiGroups:[""]
  22. resources:["events"]
  23. verbs:["create","update","patch"]
  24. ---
  25. kind:ClusterRoleBinding
  26. apiVersion:rbac.authorization.k8s.io/v1
  27. metadata:
  28. name:run-nfs-client-provisioner
  29. subjects:
  30. -kind:ServiceAccount
  31. name:nfs-client-provisioner
  32. namespace:default
  33. roleRef:
  34. kind:ClusterRole
  35. name:nfs-client-provisioner-runner
  36. apiGroup:rbac.authorization.k8s.io
  37. ---
  38. kind:Role
  39. apiVersion:rbac.authorization.k8s.io/v1
  40. metadata:
  41. name:leader-locking-nfs-client-provisioner
  42. rules:
  43. -apiGroups:[""]
  44. resources:["endpoints"]
  45. verbs:["get","list","watch","create","update","patch"]
  46. ---
  47. kind:RoleBinding
  48. apiVersion:rbac.authorization.k8s.io/v1
  49. metadata:
  50. name:leader-locking-nfs-client-provisioner
  51. subjects:
  52. -kind:ServiceAccount
  53. name:nfs-client-provisioner
  54. #replacewithnamespacewhereprovisionerisdeployed
  55. namespace:default
  56. roleRef:
  57. kind:Role
  58. name:leader-locking-nfs-client-provisioner
  59. apiGroup:rbac.authorization.k8s.io

创建deployment.yaml 文件

官方默认的镜像地址，国内可能无法下载，可以使用 image:

fxkjnj/nfs-client-provisioner:latest

#定义NFS 服务器的地址，共享目录名称

  1. root@k8s-master1:pvc#catdeployment.yaml
  2. apiVersion:v1
  3. kind:ServiceAccount
  4. metadata:
  5. name:nfs-client-provisioner
  6. ---
  7. kind:Deployment
  8. apiVersion:apps/v1
  9. metadata:
  10. name:nfs-client-provisioner
  11. spec:
  12. replicas:1
  13. strategy:
  14. type:Recreate
  15. selector:
  16. matchLabels:
  17. app:nfs-client-provisioner
  18. template:
  19. metadata:
  20. labels:
  21. app:nfs-client-provisioner
  22. spec:
  23. serviceAccountName:nfs-client-provisioner
  24. containers:
  25. -name:nfs-client-provisioner
  26. image:fxkjnj/nfs-client-provisioner:latest
  27. volumeMounts:
  28. -name:nfs-client-root
  29. mountPath:/persistentvolumes
  30. env:
  31. -name:PROVISIONER_NAME
  32. value:fuseim.pri/ifs
  33. -name:NFS_SERVER
  34. value:172.16.201.209
  35. -name:NFS_PATH
  36. value:/home/nfs
  37. volumes:
  38. -name:nfs-client-root
  39. nfs:
  40. server:172.16.201.209
  41. path:/home/nfs

创建class.yaml

  1. root@k8s-master1:pvc#catclass.yaml
  2. apiVersion:storage.k8s.io/v1
  3. kind:StorageClass
  4. metadata:
  5. name:managed-nfs-storage
  6. provisioner:fuseim.pri/ifs#orchooseanothername,mustmatchdeployment'senvPROVISIONER_NAME'
  7. parameters:
  8. archiveOnDelete:"true"

部署

  1. root@k8s-master1:pvc#kubectlapply-f.
  2.  
  3.  
  4. #查看存储卷
  5. root@k8s-master1:pvc#kubectlgetsc
  6. NAMEPROVISIONERRECLAIMPOLICYVOLUMEBINDINGMODEALLOWVOLUMEEXPANSIONAGE
  7. managed-nfs-storagefuseim.pri/ifsDeleteImmediatefalse25h

三、编写mysql 相关yaml文件

MySQL 示例部署包含一个 ConfigMap、两个 Service 与一个 StatefulSet。

ConfigMap:

vim mysql-configmap.yaml

  1. apiVersion:v1
  2. kind:ConfigMap
  3. metadata:
  4. name:mysql
  5. labels:
  6. app:mysql
  7. data:
  8. master.cnf:|
  9. #Applythisconfigonlyonthemaster.
  10. [mysqld]
  11. log-bin
  12. slave.cnf:|
  13. #Applythisconfigonlyonslaves.
  14. [mysqld]
  15. super-read-only

说明：

在这里，我们定义了 master.cnf 和 slave.cnf 两个 MySQL 的配置文件

  • master.cnf 开启了log-bin，可以使用二进制日志文件的方式进行主从复制.
  • slave.cnf 开启了 super-read-only ，表示从节点只接受主节点的数据同步的所有写的操作，拒绝其他的写入操作，对于用户来说就是只读的
  • master.cnf 和 slave.cnf 已配置文件的形式挂载到容器的目录中

Service：

vim mysql-services.yaml

  1. #HeadlessserviceforstableDNSentriesofStatefulSetmembers.
  2. apiVersion:v1
  3. kind:Service
  4. metadata:
  5. name:mysql
  6. labels:
  7. app:mysql
  8. spec:
  9. ports:
  10. -name:mysql
  11. port:3306
  12. clusterIP:None
  13. selector:
  14. app:mysql
  15. ---
  16. #ClientserviceforconnectingtoanyMySQLinstanceforreads.
  17. #Forwrites,youmustinsteadconnecttothemaster:mysql-0.mysql.
  18. apiVersion:v1
  19. kind:Service
  20. metadata:
  21. name:mysql-read
  22. labels:
  23. app:mysql
  24. spec:
  25. ports:
  26. -name:mysql
  27. port:3306
  28. selector:
  29. app:mysql

说明：

clusterIP: None，使用无头服务 Headless Service(相比普通Service只是将spec.clusterIP定义为None，也就是没有clusterIP，直接使用endport 来通信)来维护Pod网络身份，会为每个Pod分配一个数字编号并且按照编号顺序部署。还需要在StatefulSet添加serviceName: “mysql”字段指定StatefulSet控制器

另外statefulset控制器网络标识，体现在主机名和Pod A记录：

• 主机名：-<编号> 名称>

例如: mysql-0

• Pod DNS A记录：. ..svc.cluster.local （POD 之间通过DNS A 记录互相通信） 名称-编号>

例如:

mysql-0.mysql.default.svc.cluster.local

StatefulSet:

vim mysql-statefulset.yaml

  1. apiVersion:apps/v1
  2. kind:StatefulSet
  3. metadata:
  4. name:mysql
  5. spec:
  6. selector:
  7. matchLabels:
  8. app:mysql
  9. serviceName:mysql
  10. replicas:3
  11. template:
  12. metadata:
  13. labels:
  14. app:mysql
  15. spec:
  16. initContainers:
  17. -name:init-mysql
  18. image:mysql:5.7
  19. command:
  20. -bash
  21. -"-c"
  22. -|
  23. set-ex
  24. #Generatemysqlserver-idfrompodordinalindex.
  25. [[`hostname`=~-([0-9]+)$]]||exit1
  26. ordinal=${BASH_REMATCH[1]}
  27. echo[mysqld]>/mnt/conf.d/server-id.cnf
  28. #Addanoffsettoavoidreservedserver-id=0value.
  29. echoserver-id=$((100+$ordinal))>>/mnt/conf.d/server-id.cnf
  30. #Copyappropriateconf.dfilesfromconfig-maptoemptyDir.
  31. if[[$ordinal-eq0]];then
  32. cp/mnt/config-map/master.cnf/mnt/conf.d/
  33. else
  34. cp/mnt/config-map/slave.cnf/mnt/conf.d/
  35. fi
  36. volumeMounts:
  37. -name:conf
  38. mountPath:/mnt/conf.d
  39. -name:config-map
  40. mountPath:/mnt/config-map
  41. -name:clone-mysql
  42. image:fxkjnj/xtrabackup:1.0
  43. command:
  44. -bash
  45. -"-c"
  46. -|
  47. set-ex
  48. #Skipthecloneifdataalreadyexists.
  49. [[-d/var/lib/mysql/mysql]]&&exit0
  50. #Skipthecloneonmaster(ordinalindex0).
  51. [[`hostname`=~-([0-9]+)$]]||exit1
  52. ordinal=${BASH_REMATCH[1]}
  53. [[$ordinal-eq0]]&&exit0
  54. #Clonedatafrompreviouspeer.
  55. ncat--recv-onlymysql-$(($ordinal-1)).mysql3307|xbstream-x-C/var/lib/mysql
  56. #Preparethebackup.
  57. xtrabackup--prepare--target-dir=/var/lib/mysql
  58. volumeMounts:
  59. -name:data
  60. mountPath:/var/lib/mysql
  61. subPath:mysql
  62. -name:conf
  63. mountPath:/etc/mysql/conf.d
  64. containers:
  65. -name:mysql
  66. image:mysql:5.7
  67. env:
  68. -name:MYSQL_ALLOW_EMPTY_PASSWORD
  69. value:"1"
  70. ports:
  71. -name:mysql
  72. containerPort:3306
  73. volumeMounts:
  74. -name:data
  75. mountPath:/var/lib/mysql
  76. subPath:mysql
  77. -name:conf
  78. mountPath:/etc/mysql/conf.d
  79. resources:
  80. requests:
  81. cpu:500m
  82. memory:1Gi
  83. livenessProbe:
  84. exec:
  85. command:["mysqladmin","ping"]
  86. initialDelaySeconds:30
  87. periodSeconds:10
  88. timeoutSeconds:5
  89. readinessProbe:
  90. exec:
  91. #CheckwecanexecutequeriesoverTCP(skip-networkingisoff).
  92. command:["mysql","-h","127.0.0.1","-e","SELECT1"]
  93. initialDelaySeconds:5
  94. periodSeconds:2
  95. timeoutSeconds:1
  96. -name:xtrabackup
  97. image:fxkjnj/xtrabackup:1.0
  98. ports:
  99. -name:xtrabackup
  100. containerPort:3307
  101. command:
  102. -bash
  103. -"-c"
  104. -|
  105. set-ex
  106. cd/var/lib/mysql
  107.  
  108. #Determinebinlogpositionofcloneddata,ifany.
  109. if[[-fxtrabackup_slave_info&&"x$(!="x"]];then)"
  110. #XtraBackupalreadygeneratedapartial"CHANGEMASTERTO"query
  111. #becausewe'recloningfromanexistingslave.(Needtoremovethetailingsemicolon!)
  112. catxtrabackup_slave_info|sed-E's/;$//g'>change_master_to.sql.in
  113. #Ignorextrabackup_binlog_infointhiscase(it'suseless).
  114. rm-fxtrabackup_slave_infoxtrabackup_binlog_info
  115. elif[[-fxtrabackup_binlog_info]];then
  116. #We'recloningdirectlyfrommaster.Parsebinlogposition.
  117. [[`catxtrabackup_binlog_info`=~^(.*?)[[:space:]]+(.*?)$]]||exit1
  118. rm-fxtrabackup_binlog_infoxtrabackup_slave_info
  119. echo"CHANGEMASTERTOMASTER_LOG_FILE='${BASH_REMATCH[1]}',\
  120. MASTER_LOG_POS=${BASH_REMATCH[2]}">change_master_to.sql.in
  121. fi
  122.  
  123. #Checkifweneedtocompleteaclonebystartingreplication.
  124. if[[-fchange_master_to.sql.in]];then
  125. echo"Waitingformysqldtobeready(acceptingconnections)"
  126. untilmysql-h127.0.0.1-e"SELECT1";dosleep1;done
  127.  
  128. echo"Initializingreplicationfromcloneposition"
  129. mysql-h127.0.0.1\
  130. -e"$(in),\
  131. MASTER_HOST='mysql-0.mysql',\
  132. MASTER_USER='root',\
  133. MASTER_PASSWORD='',\
  134. MASTER_CONNECT_RETRY=10;\
  135. STARTSLAVE;"||exit1
  136. #Incaseofcontainerrestart,attemptthisat-most-once.
  137. mvchange_master_to.sql.inchange_master_to.sql.orig
  138. fi
  139.  
  140. #Startaservertosendbackupswhenrequestedbypeers.
  141. execncat--listen--keep-open--send-only--max-conns=13307-c\
  142. "xtrabackup--backup--slave-info--stream=xbstream--host=127.0.0.1--user=root"
  143. volumeMounts:
  144. -name:data
  145. mountPath:/var/lib/mysql
  146. subPath:mysql
  147. -name:conf
  148. mountPath:/etc/mysql/conf.d
  149. resources:
  150. requests:
  151. cpu:100m
  152. memory:100Mi
  153. volumes:
  154. -name:conf
  155. emptyDir:{}
  156. -name:config-map
  157. configMap:
  158. name:mysql
  159. volumeClaimTemplates:
  160. -metadata:
  161. name:data
  162. spec:
  163. storageClassName:"managed-nfs-storage"
  164. accessModes:["ReadWriteOnce"]
  165. resources:
  166. requests:
  167. storage:0.5Gi

说明：

  • 使用xtrbackup 工具进行容器初始化数据的备份，https://www.toutiao.com/i6999565563710292484
  • 使用linux 自带的ncat 工具进行容器初始化数据的拷贝[使用ncat指令，远程地从前一个节点拷贝数据到本地] https://www.cnblogs.com/chengd/p/7565280.html
  • 使用mysql的binlog 主从复制 来保证主从之间的数据一致
  • 利用pod的主机名的序号来判断当前节点为主节点还是从节点，再根据对于节点拷贝不同的配置文件到指定位置
  • 使用mysqladmin的ping 作为数据库的健康检测方式
  • 使用nfs存储的 PV 动态供给(StorageClass)，持久化mysql的数据文件

四、部署并测试

  1. root@k8s-master1:~/kubernetes/mysql#ll
  2. total24
  3. drwxr-xr-x2rootroot4096Nov316:42./
  4. drwxr-xr-x8rootroot4096Nov313:33../
  5. -rw-r--r--1rootroot278Nov222:15mysql-configmap.yaml
  6. -rw-r--r--1rootroot556Nov222:08mysql-services.yaml
  7. -rw-r--r--1rootroot5917Nov314:22mysql-statefulset.yaml
  8.  
  9. root@k8s-master1:~/kubernetes/mysql#kubectlapply-f.
  10. configmap/mysqlcreate
  11. service/mysqlcreate
  12. service/mysql-readcreate
  13. statefulset.apps/mysqlcreate
  14.  
  15.  
  16. #动态追踪查看Pod的状态：
  17. root@k8s-master1:~/kubernetes/mysql#kubectlgetpods-lapp=mysql--watch
  18. NAMEREADYSTATUSRESTARTSAGE
  19. mysql-02/2Running03h12m
  20. mysql-12/2Running03h11m
  21. mysql-22/2Running03h10m

可以看到，StatefulSet 启动成功后，将会有三个 Pod 运行。

接下来，我们可以尝试向这个 MySQL 集群发起请求，执行一些 SQL 操作来验证它是否正常：

  1. kubectlrunmysql-client--image=mysql:5.7-i--rm--restart=Never--\
  2. mysql-hmysql-0.mysql<
  3. CREATEDATABASEtest;
  4. CREATETABLEtest.messages(messageVARCHAR(250));
  5. INSERTINTOtest.messagesVALUES('hello');
  6. EOF

如上所示，我们通过启动一个容器，使用 MySQL client 执行了创建数据库和表、以及插入数据的操作。需要注意的是，我们连接的 MySQL 的地址必须是 mysql-0.mysql(即：Master 节点的 DNS A 记录, 因为POD 之间通过DNS A 记录互相通信)只有 Master 节点才能处理写操作。

而通过连接 mysql-read 这个 Service，我们就可以用 SQL 进行读操作，如下所示：

  1. kubectlrunmysql-client--image=mysql:5.7-i-t--rm--restart=Never--\
  2. mysql-hmysql-read-e"SELECT*FROMtest.messages"
  3.  
  4.  
  5. #你应该获得如下输出：
  6. Waitingforpoddefault/mysql-clienttoberunning,statusisPending,podready:false
  7. +---------+
  8. |message|
  9. +---------+
  10. |hello|
  11. +---------+
  12. pod"mysql-client"deleted

或者：

  1. root@k8s-master1:~/kubernetes/mysql#kubectlrun-it--rm--image=mysql:5.7--restart=Nevermysql-client--mysql-hmysql-read
  2. Ifyoudon'tseeacommandprompt,trypressingenter.
  3. WelcometotheMySQLmonitor.Commandsendwith;or\g.
  4. YourMySQLconnectionidis7251
  5. Serverversion:5.7.36MySQLCommunityServer(GPL)
  6.  
  7. Copyright(c)2000,2021,Oracleand/oritsaffiliates.
  8.  
  9. OracleisaregisteredtrademarkofOracleCorporationand/orits
  10. affiliates.Othernamesmaybetrademarksoftheirrespective
  11. owners.
  12.  
  13. Type'help;'or'\h'forhelp.Type'\c'toclearthecurrentinputstatement.
  14.  
  15. mysql>SELECT*FROMtest.messages;
  16. +---------+
  17. |message|
  18. +---------+
  19. |hello|
  20. +---------+
  21. 1rowinset(0.00sec)
  22.  
  23. mysql>

原文链接：https://www.toutiao.com/a7026278182844350984/

标签：

相关文章