Redis ----集群配置

理论：

右侧是官网文档（Redis集群规范） /topics/cluster-spec

右侧是上文链接的翻译文档 /topic/#cluster-spec

Redis集群槽点共有1638个，写入槽点随机分配。

主从分配原则：Redis集群由多个机器组成，每台机器上有多个Redis，在集群中，主从并不同属与一台服务器，随机且非同一台机器上的随机分配。

解决：建立布隆过滤器，缓存空对象，

缓存穿透：

在访问过程中发现访问内容缓存中没有，则会持续向数据库访问，访问量级过大时候容易造成数据库压力，

缓存击穿：

是指一个key非常热点，在不停的扛着大并发，大并发集中对这一个点进行访问，当这个key在失效的瞬间，持续的大并发就穿破缓存，直接请求数据库，就像在一个屏障上凿开了一个洞

雪崩

缓存雪崩是指，缓存层出现了错误，不能正常工作了。于是所有的请求都会达到存储层，存储层的调用量会暴增，造成存储层也会挂掉的情况。

解决：redis高可用，限流降级，数据预热

配置方法：

前置准备：

防火墙、selinux、时间检查

机器准备，本次，以3台机器为列进行配置方法记录，一主一从进行配置（现实根据需求进行从库数量配置）。

机器	端口
10.35.186.120	6000
10.35.186.120	6001
10.35.186.133	6002
10.35.186.133	6003
10.35.186.134	6004
10.35.186.134	6005

操作：

创建目录：

mkdir -p  /data

下载Redis：

 wget /releases/redis-5.0.

解压和重命名：

tar xzf redis-5.0. -C /data/application/  | cd /data/application/ | mv redis-5.0.10/ redis-6000

下载编译工具，进行编译：

cd redis/

yum install -y gcc make &&make

编辑配置文件( /data/redis-6000/)：

cd redis/

yum install -y gcc make &&make

编辑配置文件( /data/redis-6000/)：

 #默认ip为

sed -i 's/bind 127.0.0.1/bind 0.0.0.0/'  /data/redis-6000/

#端口

sed -i 's/port 6379/port 6000/'  /data/redis-6000/

sed -i 's/protected-mode yes/protected-mode no/'  /data/redis-6000/

sed -ir 's#pidfile "/var/run/redis_6379.pid"#pidfile "/var/run/redis_6000.pid"#'  /data/redis-6000/

sed -ir 's#logfile ""#logfile "/var/log/"#'  /data/redis-6000/

#数据文件存放位置对应

sed -ir 's#dir ./ #dir /data/redis-6000/data#'  /data/redis-6000/

#开启集群

sed -ir 's/# cluster-enabled yes/cluster-enabled yes/'  /data/redis-6000/

集群配置信息，开启集群后自动生成

sed -ir 's/# cluster-config-file /cluster-config-file /'  /data/redis-6000/

#请求超时时长 

sed -ir 's/# cluster-node-timeout 15000/cluster-node-timeout 500/'  /data/redis-6000/

#开启aof日志，它会每次写操作都记录一条日志

sed -ir 's/appendonly no/appendonly yes/'  /data/redis-6000/

#redis后台运行

sed -ir 's/daemonize no/daemonize yes/'  /data/redis-6000/

sed -ir 's///'  /data/redis-6000/

将redis-6000目录分别拷贝为对应的位置和名称

cp -r /data/redis-6000 /data/redis-6001

scp -r  /data/redis-6000 root@10.35.186.133: /data/redis-6002

scp -r  /data/redis-6000 root@10.35.186.133: /data/redis-6003

scp -r /data/redis-6000 root@10.35.186.134:/data/redis-6004

scp -r /data/redis-6000 root@10.35.186.134:/data/redis-6005

将各个路径下的配置文件--文件中的6000改为对应的端口号码。

启动：

/data/redis-6000/src/redis-server /data/redis-6000/

/data/redis-6000/src/redis-server /data/redis-6001/

/data/redis-6002/src/redis-server /data/redis-6002/

/data/redis-6002/src/redis-server /data/redis-6003/

/data/redis-6004/src/redis-server /data/redis-6004/

/data/redis-6004/src/redis-server /data/redis-6005/

创建集群：

/data/redis-6000/src/redis-cli --cluster create --cluster-replicas 1 10.35.186.120:6000 10.35.186.120:6001 10.35.186.133:6002 10.35.186.133:6003 10.35.186.134:6004 10.35.186.134:6005

检验配置是否成功，查看主从和槽点数据：

[root@localhost data]# redis-6000/src/redis-cli -c -h 10.35.186.120 -p 6000
10.35.186.120:6000> ping
PONG
10.35.186.120:6000> cluster nodes
f0e85d41f2227cbd32105fd325aa3f952ae16b36 10.35.186.133:6002@16002 master - 0 1719491256019 3 connected 5461-10922
2ef8d861cbadc1015be5b09d110a5ec7478c461c 10.35.186.120:6001@16001 slave d44c41ed574e905181c70b6578d9c0e9b5218de6 0 1719491254000 5 connected
b355dfcb16115e0069cd007afda1e0652ec317ce 10.35.186.120:6000@16000 myself,master - 0 1719491254000 1 connected 0-5460
dd1ae2145a9c2fe1261b98351e421689ae0a2b63 10.35.186.134:6005@16005 slave f0e85d41f2227cbd32105fd325aa3f952ae16b36 0 1719491255517 6 connected
de45de85c9fe6221098981db867e9a58eb5728bd 10.35.186.133:6003@16003 slave b355dfcb16115e0069cd007afda1e0652ec317ce 0 1719491255000 4 connected
d44c41ed574e905181c70b6578d9c0e9b5218de6 10.35.186.134:6004@16004 master - 0 1719491255015 5 connected 10923-16383
10.35.186.120:6000>

添加新节点

添加主节点

添加新节点为主服

#10.36.192.251 7001 添加节点时登录的已经有节点的任意服务器的ip和端口
#10.36.192.195 7007 需要添加的节点的ip和端口
/data/application/redis-5.0.10/src/redis-cli -h 10.36.192.251 -p 7001 cluster meet 10.36.192.195 7007

刷新新添加的节点信息

/data/application/redis-5.0.10/src/redis-cli -h 10.36.192.251 -p 7001 cluster nodes

如果添加主节点不成功，重置下数据。

#重置
/data/application/redis-5.0.10/src/redis-cli -h 10.36.192.195 -p 7007 cluster reset
#重新添加集群
/data/application/redis-5.0.10/src/redis-cli -h 10.36.192.251 -p 7001 cluster meet 10.36.192.195 7007
#再次查看
/data/application/redis-5.0.10/src/redis-cli -h 10.36.192.251 -p 7001 cluster nodes

添加从节点：

#replicate后面这里指定的id为主的id
/data/application/redis-5.0.10/src/redis-cli -h 10.36.192.251 -p 7001 cluster meet 10.36.192.195 7008

刷新节点信息

/data/application/redis-5.0.10/src/redis-cli -h 10.36.192.251 -p 7001 cluster nodes

自动分配新槽点;

/data/application/redis-5.0.10/src/redis-cli --cluster rebalance --cluster-threshold 1 --cluster-use-empty-masters 10.36.192.251:7001

缩容

将主节点的槽位分配到其他节点

# --cluster-from 要缩容的主节点id
# --cluster-to 缩容之后的数据槽点分给哪一个master
# --cluster-slots 要缩容的主节点id的槽位数量
/data/application/redis-7005/src/redis-cli -c -h 10.35.186.114 -p 7005 --cluster reshard  10.35.186.136:8000 --cluster-from 09dde59e194a370968d8f2f08e88d2845e42c7b0 --cluster-to 76dffb52e340891c23f532ee6ca276a43ee2b64f --cluster-slots 5461

删除从节点（删除节点，必须先删除从节点，然后再删除主节点）

/data/application/redis-7005/src/redis-cli -c -h 10.35.186.114 -p 7006 --cluster del-node 10.35.186.114:7006 f8ce3f17f0549b26aadf014252b6018fb5b253ba

删除主节点

/data/application/redis-7005/src/redis-cli -c -h 10.35.186.114 -p 7006 --cluster del-node 10.35.186.114:7006 09dde59e194a370968d8f2f08e88d2845e42c7b0

重新平均分配数据槽位

/data/application/redis-7005/src/redis-cli --cluster rebalance --cluster-threshold 1 --cluster-use-empty-masters 10.35.186.114:7005

删除集群

关闭集群服务，即关闭所有集群的服务器上的redis服务，

redis-cli -h 127.0.0.1 -p 7000 shutdown

删除以下文件：





m -f ./*/nodes-*.conf ./*/ ./*/

操作完成，等于集群已经删除

安装报错解决

gem安装超时

解决gem install redis 因为网络问题造成连接超时的问题，把gem镜像换成国内源

[root@redis-cluster redis-Cluster]# gem sources -l
*** CURRENT SOURCES ***

/
[root@redis-cluster redis-Cluster]# gem sources --remove /
/ removed from sources
[root@redis-cluster redis-Cluster]# gem sources --add /rubygems/ 回车
/rubygems/ added to sources
[root@redis-cluster redis-Cluster]# gem sources -l
*** CURRENT SOURCES ***
/rubygems/

Ruby版本过低

[root@redis-cluster redis-Cluster]# gem install redis
Fetching: redis-4.0. (100%)
ERROR:  Error installing redis:
    redis requires Ruby version >= 2.2.2.

我这里CentOS7.5默认安装的Ruby版本为2.0，需升级为2.2.2以上（ruby -v),先安装RVM，用RVM升级Ruby

1、sudo yum install curl 安装curl
2、/ 官网首页就可以看到 $ gpg --keyserver hkp:// --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3 7D2BAF1CF37B13E2069D6956105BD0E739499BDB
3、下载rvm $ \curl -sSL | bash -s stable
4、查找配置文件 find / -name
5、配置文件生效 source /etc//
6、下载rvm依赖 rvm requirements
7、查看rvm库ruby版本 rvm list known
8、安装ruby指定版本 rvm install ruby-2.5.1
9、使用ruby版本默认 rvm use 2.5.1 default
install redis

创建集群报错

集群数据不为空，Node 192.168.100.21:7001 is not empty

[root@redis-cluster src]# ./ create --replicas 1 192.168.100.21:7000 192.168.100.21:7001 192.168.100.21:7002 192.168.100.21:7003 192.168.100.21:7004 192.168.100.
21:7005>>> Creating cluster
[ERR] Node 192.168.100.21:7001 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0.

清空数据，在将每个节点下aof、rdb、本地备份文件删除，重新创建即可成功

Redis配置说明

Redis 的配置文件位于 Redis 安装目录下，文件名为，配置项说明如下：

Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程

daemonize no

当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/文件，可以通过pidfile指定

pidfile /var/run/

指定Redis监听端口，默认端口为6379，

port 6379

绑定的主机地址

bind 127.0.0.1

5.当客户端闲置多长时间后关闭连接，如果指定为0，表示关闭该功能

timeout 300

指定日志记录级别，Redis总共支持四个级别：debug、verbose、notice、warning，默认为verbose

loglevel verbose

日志记录方式，默认为标准输出，如果配置Redis为守护进程方式运行，而这里又配置为日志记录方式为标准输出，则日志将会发送给/dev/null

logfile stdout

设置数据库的数量，默认数据库为0，可以使用SELECT <dbid>命令在连接上指定数据库id

databases 16

指定在多长时间内，有多少次更新操作，就将数据同步到数据文件，可以多个条件配合

save

Redis默认配置文件中提供了三个条件：

save 900 1

save 300 10

save 60 10000

分别表示900秒（15分钟）内有1个更改，300秒（5分钟）内有10个更改以及60秒内有10000个更改。

指定存储至本地数据库时是否压缩数据，默认为yes，Redis采用LZF压缩，如果为了节省CPU时间，可以关闭该选项，但会导致数据库文件变的巨大

rdbcompression yes

指定本地数据库文件名，默认值为

dbfilename

dir ./

设置当本机为slav服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数据同步

slaveof

当master服务设置了密码保护时，slav服务连接master的密码

masterauth

设置Redis连接密码，如果配置了连接密码，客户端在连接Redis时需要通过AUTH <password>命令提供密码，默认关闭

requirepass foobared

设置同一时间最大客户端连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数，如果设置 maxclients 0，表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回max number of clients reached错误信息

maxclients 128

指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区

maxmemory

指定是否在每次更新操作后进行日志记录，Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中。默认为no

appendonly no

指定更新日志文件名，默认为

appendfilename

指定更新日志条件，共有3个可选值： no：表示等操作系统进行数据缓存同步到磁盘（快） always：表示每次更新操作后手动调用fsync()将数据写到磁盘（慢，安全） everysec：表示每秒同步一次（折衷，默认值）

appendfsync everysec
指定是否启用虚拟内存机制，默认值为no，简单的介绍一下，VM机制将数据分页存放，由Redis将访问量较少的页即冷数据swap到磁盘上，访问多的页面由磁盘自动换出到内存中（在后面的文章我会仔细分析Redis的VM机制）

vm-enabled no

虚拟内存文件路径，默认值为/tmp/，不可多个Redis实例共享

vm-swap-file /tmp/

将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0

vm-max-memory 0

Redis swap文件分成了很多的page，一个对象可以保存在多个page上面，但一个page上不能被多个对象共享，vm-page-size是要根据存储的数据大小来设定的，作者建议如果存储很多小对象，page大小最好设置为32或者64bytes；如果存储很大大对象，则可以使用更大的page，如果不确定，就使用默认值

vm-page-size 32

设置swap文件中的page数量，由于页表（一种表示页面空闲或使用的bitmap）是在放在内存中的，，在磁盘上每8个pages将消耗1byte的内存。

vm-pages 134217728

设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的，可能会造成比较长时间的延迟。默认值为4

vm-max-threads 4

设置在向客户端应答时，是否把较小的包合并为一个包发送，默认为开启

glueoutputbuf yes

指定在超过一定的数量或者最大的元素超过某一临界值时，采用一种特殊的哈希算法

hash-max-zipmap-entries 64

hash-max-zipmap-value 512

指定是否激活重置哈希，默认为开启（后面在介绍Redis的哈希算法时具体介绍）

activerehashing yes

指定包含其它的配置文件，可以在同一主机上多个Redis实例之间使用同一份配置文件，而同时各个实例又拥有自己的特定配置文件

include /path/to/

redis高可用脚本：

#!/usr/bin/bash

# redis 集群环境初始化，单点多实例部署，没有把握不要修改以下默认配置

# redis 实例个数
instance=6
# redis 服务安装路径 /usr/local/redis
instance_path=/opt/module/
# redis 集群节点配置安装路径
cluster_path=${instance_path}redis-Cluster/
# redis 版本
redis_level=redis-4.0.10


ping -w1 -c1  &>/dev/null
if [ $? -ne 0 ];then
	echo "网络错误，请检查网络"
	exit 1
fi

yum repolist &>/dev/null
if [ $? -ne 0 ];then
	echo "yum错误，请检查"
	exit 2
fi
yum install -y gcc make \
&& wget /releases/${redis_level}. \
&& mkdir -p $instance_path \
&& tar xzf ${redis_level}. -C $instance_path \
&& cd ${instance_path}${redis_level}/ && make \
&& make PREFIX=${instance_path}${redis_level}  install

cat >/etc// <<EOF
export  REDIS_HOME=${instance_path}${redis_level}
export  PATH=\$REDIS_HOME/bin:\$PATH
EOF

for i in `seq 1 $instance`
do
mkdir -p /opt/module/redis-Cluster/700${i}
cat >/opt/module/redis-Cluster/700${i}/<<EOF
port 700${i}
cluster-enabled yes
cluster-config-file 
cluster-node-timeout 5000
appendonly yes
daemonize yes
bind 0.0.0.0
pidfile  ${cluster_path}700${i}/redis_700${i}.pid
dir  ${cluster_path}700${i}/
EOF
${instance_path}${redis_level}/bin/redis-server ${cluster_path}700${i}/
done

秒客网