我们每天凌晨都要跑一个定时任务,插入逾期记录,并且重新计算用户的逾期,待还,待收等各种统计。前两天发现线上的逾期太多了,定时任务都跑到下午了。因此决定对定时任务进行优化,让他在凌晨跑完。
定时任务是按照借条分期来处理的,每张借条分期插入逾期记录,更新借条分期信息,更新借条信息,更新相关用户的各种统计信息。最先想到的优化办法是采用多线程,同时跑他50个线程,同时把可能产生互相锁表的用户统计采用sql来对全体人员进行更新,就是update t_user set n_cnt=统计where n_cnt!=统计,但是同一个借条的不同借条分期还是有可能抢锁,因此在执行的时候,如果抢锁,则再执行一遍,但是考虑到我们线上没有太多分期的借条,因此还是想试一下。第二天跑了一下发现多线程有互相锁表的情况,并且没有跑完,只能放弃多线程的思路了。全部采用sql的方式来处理了,即insert into()select from方式,然后再对所有可能发生变化的数据进行统计,即update t_user set n_cnt=统计where n_cnt!=统计。第二天跑了一下,才用了4~5分钟就跑完了全部的数据。
原来用oracle的时候,做账都是在存储过程中进行的,做账从来没有超时过,但是用mysql数据库后,一方面不推荐用存储过程,另一方面mysql客户端中支持单步调试的工具不多,因此只能退而求其次,采用应用服务器做账。但是应用服务器和数据库之间的时延也是个问题,注意了就好。