MysqlIO.readFully问题排查分析过程

时间:2021-07-08 03:38:16

问题描述

支付清结算系统"外部对账"部分任务在早上6:00~7:00时间段内对账速度缓慢,且经常造成对账统计结果不准确问题,导致结转记账不准确。

初步分析及处理过程

由于外部对账是经过性能优化的,且在压测环境表现良好,所以最开始初步认为是由于数据库性能瓶颈导致,初步处理方式为将线上6:00~7:00之前的慢SQL进行了一番排查,并对涉及外部系统的慢SQL进行了优化,这个步骤理论上是可以解决此类问题,但RDS(阿里云Mysql可能存在慢SQL统计不准确问题)。

特点时间段内线程栈分析

特定时间段线程栈分析,由于SQL优化部分并没有解决此类问题,为了查看在早上6:00~7:00这个时间段内程序JVM内部到底发生了什么,所以采取了定时抓取线程栈日志的手段(具体方式为在Linux服务器添加cron任务,并累计输出日志的方式,脚本如