db file async I/O submit 等待事件优化
一、数据发生db file async I/O submit
我们从数据库awr报告中经常会看到很高db file async I/O submit的等待事件:
SQL> select event,wait_class,wait_time from v$session_wait where wait_class<>'Idle' EVENT WAIT_CLASS WAIT_TIME -------------------------------- ----------- ---------- SQL*Net message to client Network -1 Data file init write User I/O 0 control file sequential read System I/O 0 db file sync I/O submit System I/O 79
二、分析db file async I/O submit
那么从这个等待事件的名称上来看,我们不难看出其和IO有关,IO分为如下:
同步IO:在同步IO中,线程启动一个IO操作然后就立即进入等待状态,知道IO操作完成后才继续执行其他事情。
异步IO:线程发送一个IO请求到内核,然后继续处理其它事情,内容完成IO请求后,将通知线程IO操作完成
IO总结:
如果IO请求需要大量时间执行的话,异步文件IO方式可以显著提高效率,因为在线程等待的这段时间内,CPU将会调度其它线程进行执行,如果没有其它线程需要执行的话,这段时间将会浪费掉(可能会调度操作系统的零页线程)。如果IO请求操作很快,用异步IO的方式更低效,此时同步IO会较优。
同步IO在同一时刻只允许一个IO操作,也就是说对于同一个文件句柄的IO操作是序列化的,及时使用两个线程也不能同时对一个文件句柄同时发出读写操作。重叠IO允许一个活多个线程同事发出IO请求。
异步IO在请求完成时,通过将文件句柄设为又信号状态来通知应用程序,或者应用程序通过GetOverlappedResult查看IO请求是否完成,也可以通过一个事件对象来通知应用程序。
三、找出相关的参数
那么我们看看有关异步IO的设置:
在Oracle 11g当中,其默认值为如下:
SQL> select * from v$version; BANNER -------------------------------------------------------------------------------- Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production PL/SQL Release 11.2.0.4.0 - Production CORE 11.2.0.4.0 Production TNS for Linux: Version 11.2.0.4.0 - Production NLSRTL Version 11.2.0.4.0 - Production SQL> SQL> show parameter disk_asynch_io NAME TYPE VALUE ------------------------------------ ----------- ------------------------------ disk_asynch_io boolean TRUE SQL> show parameter filesystemio NAME TYPE VALUE ------------------------------------ ----------- ------------------------------ filesystemio_options string none四、对于filesystemio_options参数的解释:
You can use the FILESYSTEMIO_OPTIONS initialization parameter to enable or disable asynchronous I/O or direct I/O on file system files. This parameter is platform-specific and has a default value that is best for a particular platform.
使用FILESYSTEMIO_OPTIONS初始化参数在文件系统文件上启用或者禁用异步I/O或者直接I/O。这个参数是平台特有的,针对特定的平台最好有个默认值。
FILESYTEMIO_OPTIONS can be set to one of the following values:
ASYNCH: enable asynchronous I/O on file system files, which has no timing requirement for transmission.
在文件系统文件上启用异步I/O,在数据传送上没有计时要求。
DIRECTIO: enable direct I/O on file system files, which bypasses the buffer cache.
在文件系统文件上启用直接I/O,绕过buffer cache。
SETALL: enable both asynchronous and direct I/O on file system files.
在文件系统文件上启用异步和直接I/O。
NONE: disable both asynchronous and direct I/O on file system files.
在文件系统文件上禁用异步和直接I/O。
五、打开异步IO
这个时候我们通过如下语句打开filesystemio_options异步IO选项:
SQL> alter system set filesystemio_options =asynch sid = ‘*’ scope=spfile;
六、重启数据库后检查:
在Oracle11gR2中AIO默认已经是开启的了。可以通过ldd或者nm来检查oracle是否已经启用了AIO支持,有输出代表已经启用。
[root@db02 ~]# grep kio /proc/slabinfo kioctx 104 140 384 10 1 : tunables 54 27 8 : slabdata 14 14 0 kiocb 123 210 256 15 1 : tunables 120 60 8 : slabdata 14 14 0 [root@db02 ~]# su - oracle [oracle@db02 ~]$ /usr/bin/nm $ORACLE_HOME/bin/oracle | grep io_getevent w io_getevents@@LIBAIO_0.4
proc文件系统包含了两个虚拟文件,它们可以用来对异步 I/O 的性能进行优化:
/proc/sys/fs/aio-nr文件提供了系统范围异步 I/O请求现在的数目。
/proc/sys/fs/aio-max-nr文件是所允许的并发请求的最大个数。最大个数通常是 64KB,这对于大部分应用程序来说都已经足够了。
检查异步I/O是否在使用
根据[Note 370579.1],可以通过查看slabinfo统计信息查看操作系统中AIO是否运行,slab是Linux的内存分配器,AIO相关的内存结构已经分配,kiocb值的第二列和第三列非0即是已使用。与kernel 2.4.x不同,没有显示kiobuf,因为从kernel 2.5.43开始,kiobuf已经从内核中被移除。
kioctx:
AIO上下文在内核空间对应数据结构kioctx,它保存异步IO的所有信息:
[oracle@db02 ~]$ grep kio /proc/slabinfo kioctx 103 140 384 10 1 : tunables 54 27 8 : slabdata 14 14 0 kiocb 134 195 256 15 1 : tunables 120 60 8 : slabdata 13 13 0
七、后记:
1、 使用操作系统cache:
操作系统和设备控制器提供了数据库缓存,这些不直接与数据库的缓存管理相冲突。尽管如此,这些架构可能消耗资源当有很少的或没有性能利益。当数据库文件存储在Linux或者UNIX文件系统上时,这种情况就显而易见了。默认情况下,所有的数据库I/O都要通过文件系统的缓存。
在一些Linux和UNIX系统上,直接I/O是可用的对于文件存储来说。这个协议允许数据库文件存取在文件系统范围内,绕过文件系统缓存。直接的I/O节约了CPU资源斌并且允许文件系统缓存是独立的在没有数据库活动的时候,例如program texts 和spool files.
尽管操作系统的的cache经常是冗余的因为数据库的cache buffers blocks。在一些情况下,数据库不能用database buffer cache。在这些情况下,使用直接I/O或者裸设备可能产生更严重的性能问题比使用系统的buffer。例如
· Reads or writes to the TEMP tablespace
· Data stored in NOCACHE LOBs
· Parallel Query slaves reading data
2、 相关参数介绍:
在oracle里为了提高io的速度,常用参数db_writer_processes和 dbwr_io_slaves
在数据库里事务数非常高,或db cache很大,一个DBWn process跟不上数据的load,我们可以调整这两个参数,这两个参数的作用就是增加io读写进程,启用异步io,加快io的速度
多个 slaves 可以并行写数据文件,而多个dbwr也可以并行写数据文件
一个 dbwr 多个 slaves是 dbwr搜集dirty buffer而 slaves写数据文件
多个dbwr 可以并行地搜集dirty buffer 并且并行地写数据文件
但是如果系统支持AIO一般不用设置多dbwr 或者 io slaves
db_writer_processes:在多cpu,多磁盘的环境,一般是每8个cpu一个dbwr进程
什么时候配置这两个参数
如果系统的io是瓶颈是,检查os是否支持异步io,如果支持异步io,但目前没有使用,那就启用异步io来缓解io瓶颈。如果os不支持异步io,
或os已经启用异步io,但io还是瓶颈,那我们可以配置多个dbwr进程。配置这两个参数是要注意,大都是如下
一个db_writer_processes,多个dbwr_io_slaves
多个db_writer_processes,dbwr_io_slaves不启用
八、参考:
- FILESYSTEMIO_OPTIONS (Reference)
- FILESYSTEMIO_OPTIONS (Performance Tuning Guide)
- Asynchronous I/O Support
- Direct I/O Support
- Asynchronous I/O
- Direct I/O Support
- Direct and Asynchronous I/O