Sqlite学习笔记(四)&&SQLite-WAL原理

时间:2022-01-04 20:24:20

  Sqlite学习笔记(三)&&WAL性能测试中列出了几种典型场景下WAL的性能数据,了解到WAL确实有性能优势,这篇文章将会详细分析WAL的原理,做到知其然,更要知其所以然。

WAL是什么

WAL(Write ahead logging)是一种日志模式,它是一种思想,普遍应用于关系型数据库。每个事务执行变更时,修改数据页,同时会产生日志,这样在事务提交后,不需要将修改的脏页刷盘,只需要将事务产生的日志落盘即可返回。WAL保证日志一定先于对应的脏页落盘,就是所谓的WAL。SQLITE在3.7版本以后引入WAL,它的WAL也基本采用这个原理,只不过SQLite实现比较简单,日志记录的是修改后的页,而不是所谓的修改日志。WAL模式下,SQlite中除了db文件,还包含了两个文件,.wal文件和.shm文件,前者是日志文件,后者是日志索引文件。

日志模式

SQLite中日志模式主要有DELETE和WAL两种,其他几种比如TRUNCATE,PERSIST,MEMORY基本原理都与DELETE模式相同,不作详细展开。DELETE模式采用影子分页技术(Shadow paging),DELETE模式下,日志中记录的变更前数据页内容;WAL模式下,日志中记录的是变更后的数据页内容。事务提交时,DELETE模式将日志刷盘,将DB文件刷盘,成功后,再将日志文件清理;WAL模式则是将日志文件刷盘,即可完成提交过程。那么WAL模式下,数据文件何时更新呢?这里引入了检查点概念,检查点的作用就是定期将日志中的新页覆盖DB文件中的老页,并通过参数wal_autocheckpoint来控制检查点时机,达到权衡读写的目的。

DELETE模式下,写事务直接更新db-page,并将old-page写入日志,读事务则直接读db-page,因为db-page中保存了提交的所有事务的更新。事务提交后,直接将日志文件删除;若事务需要回滚,则将日志中old-page中的内容覆盖db-page,恢复原始内容。WAL模式下,写事务将更新写到日志文件中,不更新db-page,事务提交时,也不影响db-page,只是将日志持久化而已。若事务回滚,则不将日志写入文件即可。由于最新的数据在日志文件中,那么如何读取到最新的数据呢?WAL模式通过end-mark(事务提交位点)达到这一目的。具体而已,事务开始时,会首先扫描日志文件,获取最近一个end-mark,在读取数据时,首先会判断page是否则在wal日志文件中存在,因为同一个page,一定是wal文件中的比db文件中的要新。如果存在,则使用,否则,再从db文件中获取指定的page。从流程上来看,这个过程比较慢,因为极端情况下,每次读都需要扫描wal文件和db文件。为了提高性能,WAL模式中有一个wal-index文件,这个文件记录了页号和该页在WAL文件中的偏移,并且wal-index文件采用共享缓存实现,从文件名也可以看到,后缀是.shm,因此判断page是否在wal文件存在的操作实质是一次内存读。wal-index采用hash表存储,因此查询效率也非常高。

与传统的DBMS不同,SQLite中记录的日志,实质是dirty-page,重做实质是对利用WAL中的日志页覆盖db-page,这种实现方式比较简单,同时也比较浪费空间,因为一个page是1k,即使只更新1byte,也会导致日志记录1k。

WAL的优势与劣势

1)  并发优势

SQLite为什么引入WAL,一定是WAL有很多好的特性。其中最主要的一点是WAL支持读写并发。在DELETE模式下,读写是互斥的。为什么WAL可以并发,而DELETE不行?我这里不打算详细展开WAL模式和DELETE模式的锁机制,后面有机会再单独写这一部分。从上面一节的分析可以知道,WAL模式下,写事务以append方式记录new-page,而读事务只会读取db-page和end-mark之前的wal日志,因此不会发生读写冲突的问题,读写可以并发。而DELETE模式下,写事务写的是db-page,读事务也是读db-page,所以读写不能并发。

2) 写性能优势

从前面的分析可知,WAL模式下,事务提交只需要写入日志文件即可,为了持久化,只需要一次fsync调用。而DELETE模式下,事务提交过程中,首先要确保日志落盘(保存old-page,用来rollback),这里需要一次fsync调用,然后再执行db文件刷盘,这里还需要一次fsync,并且修改的db-page可能是离散的,也会影响性能。而WAL写日志都是顺序写,相对于离散写又有很大的优势。因此DELETE模式下写性能会比WAL模式要差。测试结果也证明了这一点,这里可以参考测试报告。

3) WAL劣势

开启WAL后,每次读取page,都需要通过wal-index来确认page是否在WAL中,这个会产生一定的性能损耗。另外,会引入WAL文件,这个文件如果使用不当,可能会急剧膨胀,WAL文件变大后,意味着检索wal-index的代价也变高。而且由于SQLite一般用于端设备,空间也比较稀缺,因此要严格控制好WAL文件的大小。此外,WAL的索引文件采用共享内存实现,因此访问SQlite的进程不能跨机器。

开启WAL模式

通过命令pragma journal_mode=wal可以开启wal模式。前面我们提到开启WAL模式后,如果使用不当,可能导致WAL文件空间暴增,但我们有办法避免这种情况发生。这里主要介绍两个参数,wal_autocheckpoint和journal_size_limit。wal_autocheckpoint用来设置触发检查点的时机,默认是1000页,即当日志增长到1000页时,开始做检查点操作。这里要说明一点的是,SQLite中没有单独的检查点线程,如果设置1000,则触发写1000页的事务来进行检查点操作。因此这个事务的响应时间会比较长,而其它事务则不受影响。用来设置日志文件的大小,默认情况为-1,当这个参数设置时,若累计更新页大小超过journal_size_limit,也会导致检查点触发,用以重复利用日志文件,避免日志继续增长。

问题
1. WAL模式下,检查点是否会导致锁等待?
     检查点包括自动检查点和手动检查点。通过PRAGMA wal_autocheckpoint=N命令,可以设置自动检查点,当N<=0时,自动检查点关闭,所有自动检查点的类型都是PASSIVE。默认情况下,自动检查点是开启的,N为1000。对于PASSIVE类型的检查点,不会影响读写事务。通过 PRAGMA schema.wal_checkpoint 命令可以手工触发一次检查点,比如PRAGMA schema.wal_checkpoint(PASSIVE)触发一次PASSIVE类型检查点,PRAGMA schema.wal_checkpoint(FULL)触发一次FULL类型检查点。对于FULL类型,由于需要将所有更新合并到DB文件,如果有读写事务没有结束,则需要等待;而且做检查点过程中,会堵塞新的读写事务。所以PASSIVE类型不会导致锁等待,而FULL类型,RESTART和TRUNCATE类型,会导致锁等待。
2. 检查点是否会导致事务响应时间变长?
     对于自动检查点,根据wal_autocheckpoint=N设置,当更新page超过N时会触发一次检查点,那么当前的这个事务就需要等检查点执行完毕才返回,所以触发检查点的事务响应时间会变长。

3.WAL隔离级别是什么?
     WAL模式下,读写可以并发,事务能否获得新数据的关键点在于wal-index的位点,SQLite中,只会在每个事务开始时获取一次位点,事务中多次读位点都是同一个,因此隔离级别是可重复读。

相关参数

1)  journal_mode(日志模式)

默认是DELETE模式

DELETE:原始数据页存放在日志文件中,事务提交时,将文件删除。

TRUNCATE :与DELETE模式的区别是,清空日志文件,但不删除文件清空文件往往比删除文件要快。

PERSIST:与DELETE和TRUNCATE模式区别是,既不删除文件,也不清空文件,而是将日志文件第一个页设置标记(置0),这个也是为了提高性能。
MEMORY :内存模式,修改不落盘,无法保证事务的原子性。

OFF:不开启日志,这样没法保证事务的原子性。

WAL :write ahead
log,3.7.0引入,日志中记录修改页,提交时只需刷修改页。

2)  journal_size_limit(日志文件大小)

默认值为-1,表示没有限制,单位是字节。
DELETE模式下,当日志增长超过阀值时,则进行截断。
WAL模式下,当日志增长超过阀值时,日志文件不再会被截断,而是重复利用,
因为通常情况下重复写的性能要好于追加的性能,而且也省磁盘空间。
default_journal_size_limit,用于设置日志文件的默认大小。

3)  wal_checkpoint(检查点模式)

PASSIVE,默认自动检查点和主动检查点都是PASSIVE类型,将所有可以同步到db的数据都进行同步(不超过所有线程的end
mark),不持有排它锁,因此不会影响其他读写事务。

FULL,将wal与db文件完全同步,需要等待所有读写事务都结束,并且会堵塞新的读写事务

RESTART,与FULL模式的区别是,下一个写线程从头开始写wal文件。
TRUNCATE,与FULL模式的区别是,将wal文件截断为0。

4) wal_autocheckpoint(检查点触发时机)

默认值为1000页,单位是页。当日志的增量到N页时,触发检查点操作,将wal_autocheckpoint设置为0或者-1,表示关闭检查点。

5) synchronous(同步模式)

默认设置是FULL

0(OFF):事务提交时,不作sync操作,直接返回。

1(NORMAL):事务提交时,日志头不作sync操作

2(FULL):每次事务提交,都强制刷日志(WAL),强制数据页(journal)

6) cache_size
默认值2000,单位为页
修改db的缓存页数目,临时生效

7) default_cache_size

默认值2000,单位为页

修改缓存页数目,永久生效若同时设置了cache_size和default_cache_size,以default_cache_size为准

参考文档

https://www.sqlite.org/wal.html