接到山姆大叔的电话，主从延迟半个小时了
Seconds_Behind_Master: 7600
1， 检查show full processlist; 没有任何slow的dml sql语句。
2， 检查innodb status，没有任何lock的块。
3， 检查cacti，里面cpu usage从4%上升到了15%，Percona InnoDB I/O GT 从90%降低到了50%%。
4， 检查当前connections，发现处于业务低峰期。
5， 尝试我重启了下mysql server，结果Seconds_Behind_Master还是不停的增长。
6，最后去检查写入参数看下：
mysql> show variables like '%commit%';
+--------------------------------+-------+
| Variable_name | Value |
+--------------------------------+-------+
| autocommit | ON |
| innodb_commit_concurrency | 0 |
| innodb_flush_log_at_trx_commit | 0 |
+--------------------------------+-------+
3 rows in set (0.00 sec)
commit为0，已经算是最快的了。
再看binlog
mysql> show variables like 'sync_binlog';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| sync_binlog | 2 |
+---------------+-------+
1 row in set (0.00 sec)
那么改成0试试看吧。
set global sync_binlog=0;
执行完后，从Seconds_Behind_Master: 9200变成了Seconds_Behind_Master: 8791，开始追了。
又过了3分钟，已经是Seconds_Behind_Master: 0了。
虽然问题解决了，但是主要问题不在sysn_binlog，估计是磁盘有问题了，不然不可能在晚上业务低峰期，会主从delay的。平常白天业务高峰期都没有主从delay过，把疑惑发给山姆大叔，让他去找system administrator吧，去check下disk的问题。