Redis设计与实现-持久化篇

redis数据库

1. 默认16个数据库，每个数据库由一个redis.h/redisDb结构表示，此结构里的dict字典与expires字典，其中dict保存了该库所有键值对，此字典即为键空间；expires字典保存了数据库中所有键的过期时间，该字典的键为指向键空间中的某键对象，值为long long 类型的整数表示的过期unix时间戳。
2. 对键空间进行操作时还有额外的一些操作：

• 更新命中或不命中次数；
• 更新LRU（最后一次使用）时间；
• 判断键是否过期，若过期则先删除此键然后在执行其他操作；
• 如果有watch命令监视此键，则将此键标识为dirty让应用程序注意到；
• 修改键对dirty计数器+1以触发持久化及复制操作；
• 发送可能的数据库通知

redis使用惰性删除与定期删除配合策略

• 惰性删除：只在取键是判断是否删除，对CPU友好对内存不友好；
• 定期删除：每隔一定时间执行一次，且限制执行的时长和频率，多次遍历各库，随机检查过期时间并删除

RDB持久化模式对过期的键处理：

• 生成rdb文件时已过期的键不会保存到文件里；
• 载入时如果当前服务器已主服务器模式运行，则忽略过期键，如果从服务器模式则不论过期都载入然后等待与主服务器同步到已过期的键。

AOF持久化模式对过期键的处理：

• 只有在过期键被惰性删除或定期删除后才会在AOF文件里追加一条DEL记录；
• AOF重写与生成RDB文件类型，过期键不会报错到重写后的AOF文件中

复制模式下主服务器通过发送DEL命令控制从服务器的过期键删除，从服务不去判断是否过期或是否应删除。

redis2.8版本支持两种数据库通知：

• 键空间通知：即通知某个键都执行了哪些命令；
• 键时间通知：即通知某个命令被哪些键执行了。

以上文字来自Dimmacro，转载请说明来源：http://www.cnblogs.com/dimmacro/

RDB持久化：保存数据库中某个时间点的键值对

1. SAVE和BGSAVE命令都可以生成二进制RDB文件到磁盘，只是SAVE命令会在创建文件过程中一直阻塞，期间不能处理任何客户端的命令请求，而BGSAVE会fork一个子进程，不影响主进程接收并执行命令；
2. redis服务器在启动时会先看AOF是否开启，优先使用AOF文件来还原数据库状态，只用AOF关闭才会载入RDB文件；服务器在载入RDB文件期间会一致处于阻塞状态直到完成；
3. SAVE、BGSAVE、BGWRITEOF三个命令不会同时执行；
4. 对于BGSAVE，由于服务器记录上距上次成功SAVE或BGSAVE后所有数据库状态已被修改的次数以及上次的时间点，所以用户可以通过save 时间段 修改次数 的命令形式来设置自动触发BGSAVE，如save 60 1000 表示60秒内超过1000次的修改就需要触发一次BGSAVE。
5. RDB文件内部各内容结构图：

AOF持久化：保存服务器所执行的写命令

1. AOF打开后服务器执行完一个写命令，会以协议格式将此写命令写到aof_buf缓冲区末尾，每个事件处理完后根据不同的appendfsync策略进行写入与同步aof文件：

• always:将aof_buf内的所有内容写入并同步aof文件；
• everysec：将aof_buf内的所有内容写入aof文件，并由一个专门的线程检查距离上次同步aof是否超过1秒，超过则同步本次内容到aof文件，默认的方式；
• no：将aof_buf内的所有内容写入aof文件，但由操作系统来决定何时同步

aof重写通过读取数据库中当前的键值对来重新生成aof文件，达到合并多条写命令来减小aof文件的体积的目的，并不是对现有的aof文件进行任何读取，分析或者写入操作。

aof重写的过程如下：

• 主进程fork出一个子进程来进行重写,重写期间主进程的新的写命令会写到aof重写缓冲区；
• 子进程完成重写后会发送一个信号给主进程通知重写完成；
• 主进程将aof重写缓冲区中新的写命令继续写入到新aof文件，并将新aof文件改名，原子的覆盖现有的aof文件，实现新旧aof文件的替换；

以上文字来自Dimmacro，转载请说明来源：http://www.cnblogs.com/dimmacro/