一、为什么需要数据库DDL审计?
DDL在生产系统中扮演非常重要的作用。
1)首先从业务角度来说,DDL可能意味着表结构变更,意味着新的版本即将发布,是个重要的时刻。
2)其次从运维角度来说,DDL尤其是针对大表的DDL,耗时一般在小时级别,且任何不当操作,都有可能造成系统被锁死
3)最后从版本发布角度来看,如果能记录系统表结构变更的历史,对于理解整个系统是大有裨益的
因此针对线上DDL,每个公司都会有相关的规定。比如线上DDL,必须在凌晨1:00到早上5:00之间,防止对业务造成影响;或者做DDL操作前,需要提前备案等。
二、怎么做数据库DDL审计?
目前已知的做MySQL DDL审计的产品有如下几种。
1)Oracle官方提供的收费版audit plugin
2)Percona提供的开源audit plugin
3)Mariadb提供的开源audit plugin
4)安全厂商Macafee提供的开源audit plugin
从功能上来说,Oracle官方版本和Percona版本的audit plugin的审计策略包括
A)登录
B)查询
C)登录、查询
可以看出其并不提供只针对DDL操作的记录,因此并不是一款理想的DDL审计产品。
Mariadb的audit plugin拥有更细粒度的控制,比如只记录DDL。但是当我把server_audit.so安装到Oracle官方版本的MySQL上时,客户端连接数据库报错
mysql -h192.168.15.128 -P3319 -utest -p test
ERROR 2013 (HY000): Lost connection to MySQL server at 'reading authorization packet', system error: 0
至于Macafee的audit plugin性能,在超过十个用户并发时,性能会下降到60%左右。(http://www.cnblogs.com/cenalulu/archive/2012/11/12/mysql_audit_plugin_test.html)
上面的链接是一位大众点评DBA在2012年做的测试,时隔四年之后是否有性能提升,还需要做测试。
为了尽快得到一个测试结果,我在虚拟机(2core,2G,50G的SSD)上运行。
测试语句 : select id from tb1;
环境1:无audit plugin
环境2:开启audit plugin,注:默认记录所有行为
环境3:开启audit plugin,但只记录ddl
其QPS分别为:15042 ,5507 , 15000
从测试结果中可以看出,在记录所有行为时,性能会下降60%以上。
另外在使用过程中,我运行
uninstall plugin AUDIT
导致数据库意外重启
报错信息如下。
Trying to get some variables.
Some pointers may be invalid and cause the dump to abort.
Query (7fa29c0054c0): uninstall plugin AUDIT
Connection ID (thread ID): 2
Status: NOT_KILLED
因此建议大家慎重考虑这款产品的成熟度。
三、基于binary log的解决方案
binary log记录了数据库的所有数据写入操作和DDL操作。因此可以利用binary log中的信息,去获得系统中所有的DDL。相对于其他方式,有如下优点
- 无须侵入数据库内部代码,避免降低数据库稳定性
- 对系统性能没有明显影响
- 部署方式灵活。既可以与数据库部署在同一台机器上,也可以远程部署在不同机器上。
基于上述几点,我选择使用binlog方案。在mysqlbinlog代码的基础上,增加过滤DDL事件并插入到目标数据库的功能。其用法为:
./mysqlbinlog --host=192.168.15.128 --port=3319 --user=test --password=test --read-from-remote-server --stop-never --protocol=tcp --host-target=192.168.15.128 --port-target=3319 --user-target=test --password-target=test --db-target=test 3319.000127
注意target参数为扩展参数。
执行后,可以从数据库表中看到DDL事件。
mysql> select * from ddlevent\G
*************************** 1. row ***************************
query: create table suck9(id int)
executiontime: 1481374445
hostname: 192.168.15.128
port: 3319
endlogpos: 363
logname: 3319.000089
*************************** 2. row ***************************
query: create table suck10(id int)
executiontime: 1481374506
hostname: 192.168.15.128
port: 3319
endlogpos: 529
logname: 3319.000089
*************************** 3. row ***************************
query: create table suck11(id int)
executiontime: 1481374550
hostname: 192.168.15.128
port: 3319
endlogpos: 695
logname: 3319.000089
四、youge DDL audit
为了使DDL audit不是一个DBA专属的玩具,而是一个运维管理人员,甚至公司管理人员都可以使用的产品。我增加了相关界面。
首页为:
点击明细,查看某时间段内,所有server的具体DDL违规事件
五、欢迎提出宝贵意见
首先写这篇文章,是想获得初期的反馈。如果喜欢的人多的话,我会把它再优化一下,并放出来供大家下载使用。