Redis 高可用及分片集群，说了你也不懂

时间：2022-02-26 23:12:11

Redis 简介

Memcached:

	优点：高性能读写、单一数据类型、支持客户端式分布式集群、一致性hash

多核结构、多线程读写性能高。

	缺点：无持久化、节点故障可能出现缓存穿透、分布式需要客户端实现、跨机房数据同步困难、架构扩容复杂度高

Redis:

	优点：高性能读写、多数据类型支持、数据持久化、高可用架构、支持自定义虚拟内存、支持分布式分片集群、单线程读写性能极高

	缺点：多线程读写较Memcached慢

Redis 安装和基本配置

1.安装教程

下载：

wget http://download.redis.io/releases/redis-3.2.10.tar.gz

解压：

tar xzf redis-3.2.10.tar.gz

mv redis-3.2.10 redis

安装：

cd redis

make

启动：

src/redis-server &

2.配置文件

vi /etc/redis.conf

是否后台运行：

daemonize  yes

默认端口：

port 6379

日志文件位置

logfile /var/log/redis.log

RDB持久化数据文件:

dbfilename dump.rdb

持久化文件的位置：

dir /data/redis

3.安全配置

Bind

	指定IP进行监听 bind 10.0.0.129(本地) 127.0.0.1

禁止protected-mode

	protected-mode yes/no （保护模式，是否只允许本地访问）

增加requirepass  {password}

	requirepass root

4.配置完成后需要重启Redis

127.0.0.1:6379> shutdown

/application/redis/src/redis-server /etc/redis.conf

/application/redis/src/redis-cli  -h 10.0.0.129 -a 123456 -p 6379

5.在线修改配置

获取当前配置

CONFIG GET *

变更运行配置

CONFIG SET requirepass 123456

Redis 持久化

RDB持久化

基于时间点快照的方式，复用方式进行数据持久化

比较常用的方式，效率较高，安全性相对较低

在 /etc/redis.conf中添加以下内容

dbfilename dump.rdb

dir /data/redis

save 900 1

save 300 10

save 60 10000

分别表示:

	rdb文件名

	rdb的放置路径

	900秒（15分钟）内有1个更改

	300秒（5分钟）内有10个更改

	60秒内有10000个更改

	当达到以上定义的配置时间时，就将内存数据持久化到磁盘。

AOF持久化

只追加的方式记录所有redis中执行过的修改类命令

效率相对较低，安全性较高

appendonly yes

appendfsync always或者everysec或者no

分别表示:

	是否打开aof日志功能

	每1个命令,都立即同步到aof

Redis 开发/管理实战

数据类型

String/Hash/List/Set/Sorted set

增删改查操作:自己查文档

全局key操作

KEYS * 						查看KEY支持通配符

DEL							删除给定的一个或多个key

EXISTS 						检查是否存在

RENAME 						变更KEY名

TYPE						返回键所存储值的类型

EXPIRE\ PEXPIRE 			以秒\毫秒设定生存时间

TTL\ PTTL 					以秒\毫秒为单位返回生存时间

PERSIST 					取消生存实现设置

消息模式

1.队列模式（queuing）

2.发布-订阅模式(publish-subscribe)

PUBLISH channel msg

	将信息 message 发送到指定的频道 channel 

SUBSCRIBE channel [channel ...]

	订阅频道，可以同时订阅多个频道

PSUBSCRIBE pattern [pattern ...]

	订阅一个或多个符合给定模式的频道，每个模式以 * 作为匹配符，比如 it* 匹配所	有以 it 开头的频道( it.news 、 it.blog 、 it.tweets 等等)， news.* 匹配所有	以 news. 开头的频道( news.it 、 news.global.today 等等)，诸如此类

PUNSUBSCRIBE [pattern [pattern ...]]

	退订指定的规则, 如果没有参数则会退订所有规则

PUBSUB sub command [argument [argument ...]]

	查看订阅与发布系统状态

注意：使用发布订阅模式实现的消息队列，当有客户端订阅channel后只能收到后续发布到该频道的消息，之前发送的不会缓存，必须Provider和Consumer同时在线。

事务

DISCARD

取消事务，放弃执行事务块内的所有命令。

EXEC

执行所有事务块内的命令。

MULTI

标记一个事务块的开始。

UNWATCH

取消 WATCH 命令对所有 key 的监视。

WATCH key [key ...]

监视一个(或多个) key ，如果在事务执行之前这个(或这些) key 被其他命令所改动，那么事务将被打断。

---------------------

具体的命令----  watch命令

例:

redis 127.0.0.1:6379> watch ticket

OK

redis 127.0.0.1:6379> multi

OK

redis 127.0.0.1:6379> decr ticket

QUEUED

redis 127.0.0.1:6379> decrby money 100

QUEUED

//现在已经对ticket进行了监控，另外一个窗口将ticket改动了

另一个窗口：> decr ticket

redis 127.0.0.1:6379> exec

(nil)   // 返回nil,说明监视的ticket已经改动了，事务就取消了.队列就不执行了。

redis 127.0.0.1:6379>mget ticket money

"0"

"200"

watch key1 key2  ... keyN

作用:监听key1 key2..keyN有没有变化,如果任意一个有变, 则事务取消

unwatch

作用: 取消所有watch监听

服务器管理命令

Info

Clinet list

Client kill ip:port

config get *

CONFIG RESETSTAT 重置统计

CONFIG GET/SET 动态修改

Dbsize

FLUSHALL 清空所有数据

select 1

FLUSHDB 清空当前库

MONITOR 监控实时指令

SHUTDOWN 关闭服务器

save将当前数据保存

SLAVEOF host port 主从配置

SLAVEOF NO ONE

SYNC 主从同步

ROLE返回主从角色

Redis 高可用及集群技术

主从复制

1.环境配置

准备两个或两个以上redis实例

	mkdir -p /data/6380/

	mkdir -p /data/6381/

	mkdir -p /data/6382/

-------------

/data/6380/redis.conf

/data/6381/redis.conf

/data/6382/redis.conf

三套配置文件示例：

vim /data/6380/redis.conf

----------------

bind 127.0.0.1 10.0.0.200

port 6380

daemonize yes

pidfile /data/6380/redis.pid

loglevel notice

logfile "/data/6380/redis.log"

dbfilename dump.rdb

dir /data/6380

appendonly no

appendfilename "appendonly.aof"

appendfsync everysec

slowlog-log-slower-than 10000

slowlog-max-len 128

protected-mode no

6381/6382文件配置同上

启动：

/application/redis/src/redis-server   /data/6380/redis.conf

/application/redis/src/redis-server  /data/6381/redis.conf

/application/redis/src/redis-server /data/6382/redis.conf

查看启动状态

netstat -lnp|grep 638

主节点：6380

从节点：6381、6382

开启主从：

6381/6382命令行:

redis-cli -p 6381

SLAVEOF 127.0.0.1 6380

redis-cli -p 6382

SLAVEOF 127.0.0.1 6380

主从复制状态监控：info replication

主从切换：slaveof no one

2.配置sentinel 哨兵

mkdir /data/26380

cp /application/redis/src/redis-sentinel /data/26380

cd /data/26380

 ./redis-sentinel ./sentinel.conf

vim sentinel.conf

port 26380

dir "/tmp"

sentinel monitor mymaster 127.0.0.1 6380 1

sentinel down-after-milliseconds mymaster 5000

sentinel config-epoch mymaster 0

启动

 ./redis-sentinel ./sentinel.conf

3.python连接 redis-sentinel集群

1、安装python3.5

 tar xf Python-3.5.2.tar.xz 

cd Python-3.5.2

./configure

make && make install

2、安装redis的python驱动

unzip redis-py-master.zip

cd redis-py-master

python3 setup.py install

3、python3连接redis  sentinel集群

连接之前必须先启动哨兵 切记切记

cd /data/26380

 ./redis-sentinel ./sentinel.conf

python3

>>>from redis.sentinel import Sentinel

>>>sentinel = Sentinel([('localhost', 26380)], socket_timeout=0.1)

>>>sentinel.discover_master('mymaster')

>>>sentinel.discover_slaves('mymaster')

>>>master = sentinel.master_for('mymaster', socket_timeout=0.1)

>>>slave = sentinel.slave_for('mymaster', socket_timeout=0.1)

>>>master.set('foo', 'bar')

>>>slave.get('foo')

4.redis cluser集群组件安装

EPEL源安装ruby支持

yum install ruby rubygems -y

使用国内源

gem sources -a http://mirrors.aliyun.com/rubygems/

gem sources  --remove http://rubygems.org/

gem sources -l

gem install redis -v 3.3.3

--------------------

0、集群节点准备，创建节点目录：

mkdir -p /data/7000

mkdir -p /data/7001

mkdir -p /data/7002

mkdir -p /data/7003

mkdir -p /data/7004

mkdir -p /data/7005

1、配置文件添加：

-------------------------

vim /data/7000/redis.conf

port 7000

daemonize yes

pidfile /data/7000/redis.pid

logfile "/var/log/redis7000.log"

dbfilename dump.rdb

dir /data/7000

cluster-enabled yes

cluster-config-file nodes.conf

cluster-node-timeout 5000

appendonly yes

7001/7002/7003/7004/7005节点配置同上

-------------------------------

2、启动所有节点

/application/redis/src/redis-server /data/7000/redis.conf

/application/redis/src/redis-server /data/7001/redis.conf

/application/redis/src/redis-server /data/7002/redis.conf

/application/redis/src/redis-server /data/7003/redis.conf

/application/redis/src/redis-server /data/7004/redis.conf

/application/redis/src/redis-server /data/7005/redis.conf

ps -ef |grep 700

-------------------------

3、集群创建

/application/redis/src/redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 \

127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

---------------------

4、集群状态查看

/application/redis/src/redis-cli -p 7000 cluster nodes | grep master

/application/redis/src/redis-cli -p 7000 cluster nodes | grep slave

Redis 多API开发实践

Python 连接 redis cluster

(1) redis-py并没有提供redis-cluster的支持，去github找了一下，有个叫redis-py-cluster的源码，

但是和redis-py不是一个作者，地址为:https://github.com/Grokzen/redis-py-cluster

watch,star,fork还算可以。

(2) 安装

unzip redis-py-cluster-unstable.zip

cd redis-py-cluster-unstable

python3 setup.py install

(3) 使用

>>> from rediscluster import StrictRedisCluster

>>> startup_nodes = [{"host": "127.0.0.1", "port": "7000"}]

>>> # Note: decode_responses must be set to True when used with python3

>>> rc = StrictRedisCluster(startup_nodes=startup_nodes, decode_responses=True)

>>> rc.set("foo", "bar")

>>> print(rc.get("foo"))

相关文章