分布式 集群环境下如何避免定时任务执行多次的解决方法

时间:2021-03-29 08:02:18

项目需要每隔一段时间执行某个定时任务,但是由于同时部署在多台机器上,因此可能会出现任务被执行多次,造成重复数据的情况,下面提供几种解决思路

1. 指定执行定时任务的机器

在多台机器中选择一台执行定时任务,每次执行的时候回判断当前机器和指定的机器是否一致,一致才会执行

这种方法可以避免执行多次的情况,但是最明显的缺点就是单点故障问题,当这台指定的机器挂了以后,任务就不会执行了。

2. 任务从数据库中读取

主要是借助数据库的锁机制来实现,因此可以有多种方法

2.1 借助MySQL的行锁和表锁

由于MySQL存在表锁和行锁(MyISAM引擎只支持表锁,而InnoDB支持行锁和表锁两种),每次执行定时任务的时候从数据库表中读取记录,只有读取到的记录标识当前任务状态为未执行时,当前机器才会去触发任务,并且更新数据库状态(先更新,再执行),由于存在表锁和行锁,因此同一时刻只能有一个事务操作,可以保证只执行一次

2.2 借助Redis的过期机制和分布式锁

每台机器以当前项目名为键,当前机器ip为值,对Redis进行存取操作。

执行任务前先从Redis中读取键,若没有值代表任务未被执行,同样的该台机器先更新redis,再触发定时任务。由于Redis存在过期机制,因此可以设置过期时间保证下次判断正常。

3. Quartz的集群应用

Spring自带有Task定时任务机制,但是quartz框架功能更强大,且支持集群环境,不过需要配置11张数据库表,具体操作百度即可……