Redis 6.X Cluster 集群搭建

时间：2021-07-23 09:50:00

Redis 6.X Cluster 集群搭建

 Part1Redis 6.X Cluster 集群搭建

 

码哥带大家完成在 CentOS 7 中安装 Redis 6.x 教程。在学习 Redis Cluster 集群之前，我们需要先搭建一套集群环境。机器有限，实现目标是一台机器上搭建 6 个节点，构成一个三主三从集群模式。

1下载解压

 

可直接到 Redis 官网下载最新稳定包，地址：https://redis.io/download。或者使用 命令：sudo wget http://download.redis.io/releases/redis-6.0.9.tar.gz 下载安装包.。

码哥统一把软件包放在 /opt/soft 目录下，并创建目录 mkdir redisCluster用于放置集群配置文件。在 redisCluster 目录下执行 mkdir 7000 7001 7002 7003 7004 7005 创建 6 个目录分别对应每个节点 redis.conf 配置模板。

tar -zxf redis-6.0.9.tar.gz -C redisCluster 解压到 redisCluster 目录中。

2make 编译

 

在编译之前我们需要确认 gcc 版本，自 redis 6.0.0 之后，编译 redis 需要支持 C11 特性，C11 特性在 4.9 中被引入。Centos 7 默认 gcc 版本为 4.8.5，所以需要升级gcc版本。

编译错误

 

否则在编译过程中会遇到如下错误日志：

  1. In file included from server.c:31:0: 
  2. server.c:4999:59: error: ‘struct redisServer’ has no member named ‘cluster’ 
  3.              (server.cluster_enabled && nodeIsMaster(server.cluster->myself))); 
  4.                                                            ^ 
  5. cluster.h:58:27: note: in definition of macro ‘nodeIsMaster’ 
  6.  #define nodeIsMaster(n) ((n)->flags & CLUSTER_NODE_MASTER) 
  7.                            ^ 
  8. server.c: In function ‘main’: 
  9. server.c:5047:11: error: ‘struct redisServer’ has no member named ‘sentinel_mode’ 
  10.      server.sentinel_mode = checkForSentinelMode(argc,argv); 
  11.            ^ 
  12. server.c:5064:15: error: ‘struct redisServer’ has no member named ‘sentinel_mode’ 
  13.      if (server.sentinel_mode) { 
  14.                ^ 
  15. server.c:5131:19: error: ‘struct redisServer’ has no member named ‘sentinel_mode’ 
  16.          if (server.sentinel_mode && configfile && *configfile == '-') { 
  17.                    ^ 
  18. server.c:5153:168: error: ‘struct redisServer’ has no member named ‘sentinel_mode’ 
  19.          serverLog(LL_WARNING, "Warning: no config file specified, using the default config. In order to specify a config file use %s /path/to/%s.conf", argv[0], server.sentinel_mode ? "sentinel" : "redis"); 
  20.                                                                                                                                                                         ^ 
  21. server.c:5158:11: error: ‘struct redisServer’ has no member named ‘supervised’ 
  22.      server.supervised = redisIsSupervised(server.supervised_mode); 
  23.            ^ 
  24. server.c:5158:49: error: ‘struct redisServer’ has no member named ‘supervised_mode’ 
  25.      server.supervised = redisIsSupervised(server.supervised_mode); 
  26.                                                  ^ 
  27. server.c:5159:28: error: ‘struct redisServer’ has no member named ‘daemonize’ 
  28.      int background = server.daemonize && !server.supervised; 
  29.                             ^ 
  30. server.c:5159:49: error: ‘struct redisServer’ has no member named ‘supervised’ 
  31.      int background = server.daemonize && !server.supervised; 
  32.                                                  ^ 
  33. server.c:5163:29: error: ‘struct redisServer’ has no member named ‘pidfile’ 
  34.      if (background || server.pidfile) createPidFile(); 
  35.                              ^ 
  36. server.c:5168:16: error: ‘struct redisServer’ has no member named ‘sentinel_mode’ 
  37.      if (!server.sentinel_mode) { 
  38.                 ^ 
  39. server.c:5178:19: error: ‘struct redisServer’ has no member named ‘cluster_enabled’ 
  40.          if (server.cluster_enabled) { 
  41.                    ^ 
  42. server.c:5186:19: error: ‘struct redisServer’ has no member named ‘ipfd_count’ 
  43.          if (server.ipfd_count > 0 || server.tlsfd_count > 0) 
  44.                    ^ 
  45. server.c:5186:44: error: ‘struct redisServer’ has no member named ‘tlsfd_count’ 
  46.          if (server.ipfd_count > 0 || server.tlsfd_count > 0) 
  47.                                             ^ 
  48. server.c:5188:19: error: ‘struct redisServer’ has no member named ‘sofd’ 
  49.          if (server.sofd > 0) 
  50.                    ^ 
  51. server.c:5189:94: error: ‘struct redisServer’ has no member named ‘unixsocket’ 
  52.              serverLog(LL_NOTICE,"The server is now ready to accept connections at %s", server.unixsocket); 
  53.                                                                                               ^ 
  54. server.c:5190:19: error: ‘struct redisServer’ has no member named ‘supervised_mode’ 
  55.          if (server.supervised_mode == SUPERVISED_SYSTEMD) { 
  56.                    ^ 
  57. server.c:5191:24: error: ‘struct redisServer’ has no member named ‘masterhost’ 
  58.              if (!server.masterhost) { 
  59.                         ^ 
  60. server.c:5201:19: error: ‘struct redisServer’ has no member named ‘supervised_mode’ 
  61.          if (server.supervised_mode == SUPERVISED_SYSTEMD) { 
  62.                    ^ 
  63. server.c:5208:15: error: ‘struct redisServer’ has no member named ‘maxmemory’ 
  64.      if (server.maxmemory > 0 && server.maxmemory < 1024*1024) { 
  65.                ^ 
  66. server.c:5208:39: error: ‘struct redisServer’ has no member named ‘maxmemory’ 
  67.      if (server.maxmemory > 0 && server.maxmemory < 1024*1024) { 
  68.                                        ^ 
  69. server.c:5209:176: error: ‘struct redisServer’ has no member named ‘maxmemory’ 
  70.          serverLog(LL_WARNING,"WARNING: You specified a maxmemory value that is less than 1MB (current value is %llu bytes). Are you sure this is what you really want?", server.maxmemory); 
  71.                                                                                                                                                                                 ^ 
  72. server.c:5212:31: error: ‘struct redisServer’ has no member named ‘server_cpulist’ 
  73.      redisSetCpuAffinity(server.server_cpulist); 
  74.                                ^ 
  75. server.c: In function ‘hasActiveChildProcess’: 
  76. server.c:1480:1: warning: control reaches end of non-void function [-Wreturn-type] 
  77.  } 
  78.  ^ 
  79. server.c: In function ‘allPersistenceDisabled’: 
  80. server.c:1486:1: warning: control reaches end of non-void function [-Wreturn-type] 
  81.  } 
  82.  ^ 
  83. server.c: In function ‘writeCommandsDeniedByDiskError’: 
  84. server.c:3826:1: warning: control reaches end of non-void function [-Wreturn-type] 
  85.  } 
  86.  ^ 
  87. server.c: In function ‘iAmMaster’: 
  88. server.c:5000:1: warning: control reaches end of non-void function [-Wreturn-type] 
  89.  } 
  90.  ^ 
  91.  .... 

解决方式

 

  1. yum -y install gcc gcc-c++ make tcl 
  2. yum -y install centos-release-scl 
  3. yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils 
  4. scl enable devtoolset-9 bash 

升级之后便可解决 make 报错问题。

注意：scl命令启用只是临时的，退出xshell或者重启就会恢复到原来的gcc版本。如果要长期生效的话，执行如下 sudo echo "source /opt/rh/devtoolset-9/enable" >>/etc/profile。

cd /opt/soft/redisCluster/redis-6.0.9 切换到目录执行 make 。

编译完成使用 make install 对 redis 进行安装 ，命令：sudo make install。

3修改配置文件

 

cd /opt/soft/redisCluster/redis-6.0.9 将 redis.conf 分别复制到 7000 7001 7002 7003 7004 目录中。

分别修改 6 个 redis.conf

  1. ## 7000-7005端口 
  2. port 7000 
  3. ## 后台启动 
  4. daemonize yes 
  5. ## 如果是在单机模拟集群必须指定bind的IP，如果不修改ip的话使用程序连接集群会报错 
  6. bind 192.168.221.150 
  7. ## 开启redis-cluster集群 
  8. cluster-enabled yes 
  9. ## 每个实例还包含存储此节点配置的文件的路径，默认情况下为nodes.conf，自动创建 
  10. cluster-config-file nodes_7000.conf 
  11. ## 超时 
  12. cluster-node-timeout 500 
  13. ## 开启aof 
  14. appendonly yes 
  15.   
  16. #注释cluster集群下不允许复制。 
  17. #replicaof 127.0.0.1 9000 
  18. #关闭保护模式,如果开启需要设置密码，比较繁琐，可根据自己的需求来 
  19. protected-mode no 

每个配置文件只需要修改 port 和 cluster-config-file 就可以了。

4启动节点并创建集群

 

启动节点

进入 redisCluster 目录，执行指令依次启动每个节点。redis-6.0.9/src/redis-server 700x/redis.conf 注意指定每个节点配置文件，如果不指定配置文件会默认使用src下的配置。

创建集群

进入任意一个节点，执行以下指令创建集群

指令如下：

  1. redis-6.0.9/src/redis-cli --cluster create 172.16.90.152:7000 172.16.90.152:7001 172.16.90.152:7002 172.16.90.152:7003 172.16.90.152:7004 172.16.90.152:7005 --cluster-replicas 1 

集群参数解释：

  • cluster-replicas 1：表示希望为集群中的每个主节点创建一个从节点(一主一从)。
  • cluster-replicas 2：表示希望为集群中的每个主节点创建两个从节点(一主二从)。

控制台响应：

  1. >>> Performing hash slots allocation on 6 nodes... 
  2. Master[0] -> Slots 0 - 5460 
  3. Master[1] -> Slots 5461 - 10922 
  4. Master[2] -> Slots 10923 - 16383 
  5. Adding replica 172.16.90.152:7004 to 172.16.90.152:7000 
  6. Adding replica 172.16.90.152:7005 to 172.16.90.152:7001 
  7. Adding replica 172.16.90.152:7003 to 172.16.90.152:7002 
  8. >>> Trying to optimize slaves allocation for anti-affinity 
  9. [WARNING] Some slaves are in the same host as their master 
  10. M: 06c56f5a6a4436108fae931be499465985141d39 172.16.90.152:7000 
  11.    slots:[0-5460] (5461 slots) master 
  12. M: 0ab7c9efd97319d94a8ea52452ec58f7708d812d 172.16.90.152:7001 
  13.    slots:[5461-10922] (5462 slots) master 
  14. M: 096f076d99363270c02785a2fb298e2ee65d3f07 172.16.90.152:7002 
  15.    slots:[10923-16383] (5461 slots) master 
  16. S: 69d621060295eb433af3e34e702142df0fd4d73d 172.16.90.152:7003 
  17.    replicates 06c56f5a6a4436108fae931be499465985141d39 
  18. S: 1d37df0aa0e2310aedb5a380f95cc818256003f8 172.16.90.152:7004 
  19.    replicates 0ab7c9efd97319d94a8ea52452ec58f7708d812d 
  20. S: d9204f6da875a4b2522c5fa25d9e6c1f95cf51ea 172.16.90.152:7005 
  21.    replicates 096f076d99363270c02785a2fb298e2ee65d3f07 
  22. Can I set the above configuration? (type 'yes' to accept): 

Can I set the above configuration? (type 'yes' to accept): 询问是否确认节点 slots 分配方案， 我们输入 ‘yes’。

  1. >>> Nodes configuration updated 
  2. >>> Assign a different config epoch to each node 
  3. >>> Sending CLUSTER MEET messages to join the cluster 
  4. Waiting for the cluster to join 
  5. . 
  6. >>> Performing Cluster Check (using node 172.16.90.152:7000) 
  7. M: 06c56f5a6a4436108fae931be499465985141d39 172.16.90.152:7000 
  8.    slots:[0-5460] (5461 slots) master 
  9.    1 additional replica(s) 
  10. S: 1d37df0aa0e2310aedb5a380f95cc818256003f8 172.16.90.152:7004 
  11.    slots: (0 slots) slave 
  12.    replicates 0ab7c9efd97319d94a8ea52452ec58f7708d812d 
  13. M: 0ab7c9efd97319d94a8ea52452ec58f7708d812d 172.16.90.152:7001 
  14.    slots:[5461-10922] (5462 slots) master 
  15.    1 additional replica(s) 
  16. S: d9204f6da875a4b2522c5fa25d9e6c1f95cf51ea 172.16.90.152:7005 
  17.    slots: (0 slots) slave 
  18.    replicates 096f076d99363270c02785a2fb298e2ee65d3f07 
  19. S: 69d621060295eb433af3e34e702142df0fd4d73d 172.16.90.152:7003 
  20.    slots: (0 slots) slave 
  21.    replicates 06c56f5a6a4436108fae931be499465985141d39 
  22. M: 096f076d99363270c02785a2fb298e2ee65d3f07 172.16.90.152:7002 
  23.    slots:[10923-16383] (5461 slots) master 
  24.    1 additional replica(s) 
  25. [OK] All nodes agree about slots configuration. 
  26. >>> Check for open slots... 
  27. >>> Check slots coverage... 
  28. [OK] All 16384 slots covered. 

[OK] All 16384 slots covered.

到此完成!

5查看集群状态

 

redis-6.0.9/src/redis-cli --cluster check 172.16.90.152:7000

6注意事项

 

当使用 redis-6.0.9/src/redis-cli --cluster create 172.16.90.152:7000 172.16.90.152:7001 172.16.90.152:7002 172.16.90.152:7003 172.16.90.152:7004 172.16.90.152:7005 --cluster-replicas 1 创建集群以后，一次创建，永久使用。之后直接启动每个节点即可构建集群。

结束命令：redis-6.0.9/src/redis-cli -c -h 192.168.124.23 -p 7004 shutdown

进入集群命令 redis-cli -c -h host -p prot 不带-c 参数进入的不是集群

搭建好集群后，期待下一篇「Redis 高可用篇：Cluster 能支持的数据有多大?」

原文地址：https://mp.weixin.qq.com/s/gmTCxw92Ts0-lJs61DKztA

标签：

相关文章