Redis---持久化

时间:2024-04-16 12:51:00

Redis是内存数据库,是把数据存储在内存中的,但是内存中的数据不是持久的,如果想要做到持久,那么就需要让redis将数据存储到硬盘上。

Redis持久化有两种策略:

  • RDB  ==> Redis DataBase   RDB机制采取的是定期备份
  • AOF ==>  Append Only File  AOF机制采取的是实时备份

接下来将好好说说这两种策略~

RDB

RDB会定期地将Redis中的数据生成一份快照,接着将这份快照保存到硬盘中。后续Redis重启了,就会读取这份快照,将数据恢复回来。

定期具体点,又分为两种方式:1.手动触发  2.自动触发

手动触发

用户通过redis客户端,执行特定的命令,手动地触发快照生成。

  • save:执行save的时候,redis会全力以赴地进行“快照生成”操作,此时会阻塞redis的其它客户端的命令,导致类似keys *的后果,基本不采取。
  • bgsave:Redis进程执行fork操作创建出子进程,RDB持久化过程交由子进程去操作,完成后自动结束。阻塞只发生在fork阶段、一般时间很短。

自动触发

1.在redis的配置文件中,设置save配置。如”save m n“表示m秒内,数据集发生了n次修改,自动RDB持久化。

2.也可以从节点进行全量复制操作时,主节点自动进行RDB持久化,随后将RDB文件内容发送给从结点。

3.还可以执行shutdown命令,关闭redis,执行RDB持久化。

bgsave流程说明

1.执行bgsave命令后,redis父进程首先会判断当前是否存在正在执行的子进程,如果有,则返回。

2.如果没有,则通过fork创建子进程,在创建子进程时会阻塞父进程。创建完成后,bgsave会返回“background saving started”信息,不再阻塞父进程,父进程接着下面的操作。

3.子进程创建出来后,会创建RDB文件,由于子进程继承了父进程的内存、文件描述符等等,因此可以根据父进程中的内存的数据生成快照,并且对原有的RDB文件进行替换,结束后发送信号通知父进程表示完成,接着子进程结束。

RDB文件

redis生成的RDB文件,是在redis的工作目录中的,可以在redis的配置文件中进行设置。生成的RDB文件为:dump.rdb

RDB为使用LZF算法,将数据进行压缩,并且以二进制的形式,保存在这个文件中。虽然压缩会消耗CPU资源,但是能节省不少空间。

在redis服务器启动的时候,如果dump.rdb文件被损坏,那么服务器会启动失败(使用RDB机制的情况下)。因此redis提供了RDB文件的检测工具:redis-check-dump。

dump.rdb文件始终只有一个:尽管进行多次的RDB持久化,RDB会把要快生成的快照数据先保存在一个临时文件中,等快照数据生成完毕,会删除原来的dump.rdb,生成新的dump.rdb。

RDB的优缺点

优点:

①RDB是一个压缩的二进制文件,代表着某个时间点中redis的内存中的数据,非常适用于备份,全量复制等场景。

②redis加载RDB数据比AOF数据快。

缺点:

①RDB没办法进行实时持久化,每次运行bgsave都需要创建子进程,执行成本高。

②RDB有多个版本,兼容性存在问题。

RDB最大的问题在于不能实时持久化,在两次生成快照期间,可能会由于某种因素导致redis服务器重启,从而导致数据丢失的问题。

AOF

AOF介绍

AOF提供的是实时的持久化,解决RDB不能持久化的问题。AOF类似于MySQL中的binlog,会将用户的每一个操作,记录在文件中。当redis服务器重启后,会读取AOF的文件来恢复数据。

在redis的配置文件中,将AOF机制启动:

启动后重启redis服务器,则开启aof,在工作目录(/var/lib/redis)中出现了appendonly.aof的文件,这个文件就是用于记录redis内存数据的文件。

AOF是一个文本文件:

AOF工作流程

AOF的工作流程操作:命令写入(append)、文件同步(sync)、文件重写(rewrite)、重启加载(load)。

所有的写入(append) 会追加到aof_buf缓冲区中,接着AOF会根据策略向硬盘做出同步操作。

如果AOF文件过大,需要进行重写(rewrite),进行压缩,节省空间。

当redis服务器启动时,会加载AOF文件进行数据的恢复。

AOF过程中为什么需要aof_buf这个缓冲区?

换句话说,引入AOF后,redis又要写内存又要写硬盘,这样效率会降低吗?其实不会,因为AOF机制,会先将数据放入aof_buf缓冲区中,数据累积到一定的量后,统一写入硬盘,降低IO次数,并且采取的是顺序写入,效率高。

同时,redis还提供了不同的缓冲区策略,给用户根据实际情况做出合理的选择。

文件同步

可配置值 说明
always

命令写入aof_buf后调用fsync同步,完成后返回。频率和数据可靠性最高,性能最低

everysec

命令写入aof_buf后只执行write操作,不进行fsync,每秒由同步线程进行fsync。

频率和数据可靠性一般,性能一般

no

命令写入aof_buf后只执行write操作,由os控制fsync。

频率和数据可靠性低,性能最高

系统调用write和fsync

write操作会在写入系统缓冲区后立即返回。

fsync只针对单个文件操作,强制硬盘同步,阻塞直到数据完全写入硬盘。

重写机制

随着AOF文件越来越大,它会影响到redis下次启动的时间,因为redis服务器在启动的时候,需要读取AOF文件,为了解决这个问题,AOF采取了重写机制。

AOF文件记录了用户的操作过程,但实际上,redis启动时读取AOF文件,只关心最终结果。比如用户A对同一个变量做了增加、修改、修改、修改操作,redis在读取时,只关心最后一次的修改,并不关心前面的操作如何。

因此,redis会对AOF文件进行整理,这个整理就是提出冗余的操作,合并一些操作。注意,这个过程,也是重新生成了一份AOF文件,AOF文件重写是把Redis进程内的数据转化为写命令同步到新的AOF文件。

AOF重写触发

AOF重写触发可以分为手动触发和自动触发。

  • 手动触发:调用bgwriteaof命令
  • 自动触发:根据auto-aof-rewrite-min-size和auto-aof-rewrite-percentage参数确定自动触发时机。

auto-aof-rewrite-min-size:表示触发从写时AOF最小文件大小,默认64MB.

uto-aof-rewrite-percentage:代表当前AOF占用大小相较于上次重写时增加的比例。

AOF重写流程

父进程通过fork创建子进程,子进程由于继承了父进程的内存、文件描述符等,可以把父进程fork前内存中的数据获取出来,以AOF的格式写入到一个新的AOF文件中。(内存中的数据,相当于整理后的数据了)。

在子进程写新aof文件的同时,父进程仍然不停地接收新的数据,并将这些数据同时写到aof_buf缓冲区和aof_rewrite_buf缓冲区中。aof_buf缓冲区的数据会被刷新到旧AOF文件中,而aof_rewrite_buf是用于子进程将新aof文件写完后,通知父进程,父进程再把这个缓冲区中的数据写入到新AOF文件中,最后用新AOF文件替换旧AOF文件。

父进程在重写的过程中,还在对旧AOF文件进行写入的目的:

在极端情况下,在子进程重写时服务器突然挂了,重启后,子进程内存的数据会丢失,新AOF文件的内容不完整,可以使用旧AOF文件来保证数据的完整性。

如果在执行bgwriteaof时,此时redis正在进行重写,那么就不执行了。

如果在执行bgwriteaof时,此时的redis正在生成RDB文件的快照时,会等待RDB文件生成完毕,再进行重写。

混合持久化

AOF是按照文本方式进行写入的,后续加载成本较高,因此redis结合RDB和AOF两种方式的特定:

按照AOF的方式将每一个操作记录在文件中,触发AOF重写,就会将当前内存的状态按照RDB的二进制格式写入到新的AOF文件中,后续再进行操作时,依然会按照AOF的文本格式进行追加写入。简单的说就是在重写时采取RDB的二进制格式写入,在其它操作依然采用AOF的文本格式进行写入。

混合持久化在配置文件中需要打开:

Redis的选择

当AOF和RDB同时打开时,redis会优先选择AOF方式,因为AOF中包含的数据会比RDB的安全,完整。

总结

Redis提供了两种持久化方式,就是RDB和AOF。

RDB是对内存数据的快照,采取的是定期持久化,AOF是对修改命令的保存,采取的是实时持久化,并且由有重写机制来定期压缩AOF文件。

RDB和AOF都使用fork创建子进程,利⽤Linux子进程拥有父进程内存快照的特点进行持久化,尽可能不影响主进程继续处理后续命令。