Python定时任务 Celery+Redis

时间:2021-06-29 07:45:15

引言:

  当需要用python创建和完成定时任务时,第一个会想到的就是使用crontab库,

  但是crontab不支持Windows系统,于是我们可以使用一个支持Windows且功能强大的库:Celery。

Celery-分布式任务队列:

  Celery是一个简单,灵活,可靠的分布式系统,用于处理大量消息,同时为操作提供维护此类系统所需的工具。

  它是一个任务队列,专注于实时处理,同时还支持任务调度。

  Celery是开源的,并根据BSD许可授权

  Celery由Python语言实现。

Celery安装:

  celery的版本非常令人头疼,它的版本无法做到完全上下兼容,且有些版本会与一些库冲突,所以对于celery版本的选择非常重要:

    1、celery 4.0.0~4.2.0(latest) 目前最新的celery版本是官方的4.2.0 链接:http://docs.celeryproject.org/en/latest/

     (1) celery 4.0.0及以上版本目前不兼容python3.7 由于在python3.7中 async变成了关键字 在运行celery worker的时候会报错,

         Python定时任务 Celery+Redis

         from . import async,base 此处出错。

     (2) django-celery是一个便于在django工程中管理celery的库,但是django-celery不支持celery 4.0.0以上版本,如若要在django工程中

      使用celery,请降低版本,比如celery 3.1.26

    2、celery 3~4的版本之间 相对稳定 本人用的就是celery 3.1.26版本 推荐 pip install celery==3.1.26 

Celery介绍:

Python定时任务 Celery+Redis

上图为celery工作简要流程,原谅我盗的图...原作者po上:https://www.qikqiak.com/

1、application(task producer)"任务的生产者",我们通过代码层面,产生任务然后发送给broker(task queue)

2、celery beat(task scheduler)"任务调度器",常见为生成定时任务

3、broker(task queue)"任务队列",我们需要将任务送往任务队列去,官网强烈推荐的broker有:redis和rabbitmq

4、worker(taks consumer)"任务消费者",在任务送往broker后,worker从中进行操作,完成任务后生成result

5、result 完成任务后产生的结果

Broker的选择:

  broker我们可选的有redis和rabbitmq,官网推荐的两种,我们这里选redis,相对于rabbitmq更加轻量级,安装方便。

  所以我们需要安装redis,redis很容易安装,这里就不细讲了,po上github链接:https://github.com/MicrosoftArchive/redis/releases

  与此同时 celery还需要python的redis依赖库这里注意版本 pip install redis==2.10 最好下2.10版本,这里是为了后续和django联用

  若下最新版本,可能会报以下错:

Python定时任务 Celery+Redis

任务的编写:

  主要的代码层面来了,我们通过流程图知道,我们需要生产任务,目录结构如下图:

        Python定时任务 Celery+Redis

  1、其中__init__.py是通过启动项目时,选择的配置文件:

1 from celery import Celery
2 
3 app = Celery('demo')
4 app.config_from_object('celery_app.celeryconfig')

  2、celeryconfig.py里面主要是celery的配置:

from datetime import timedelta
from celery.schedules import crontab
# 配置broker为redis
BROKER_URL = 'redis://localhost:6379/1'
# 配置结果存储至redis
CELERY_RESULT_BACKEND = 'redis://localhost:6379/2'
# 时区设置
CELERY_TIMEZONE='Asia/Shanghai'
# 导入任务
CELERY_IMPORTS = (
    'celery_app.task1',
    'celery_app.task2',
    )
# 配置定时任务的调度器
CELERYBEAT_SCHEDULE={
    # 任务名字
    'task1':{
        # 任务启动的函数
        'task':'celery_app.task1.add',
        # 定时时间设置,每10秒一次
        'schedule':timedelta(seconds=10),
        # 传递的参数
        'args':(2,8)
    },
    'task2':{
        'task':'celery_app.task2.mul',
        # 定时时间设置,16:45
        'schedule':crontab(hour=16,minute=45),
        'args':(4,5)

    }
}

  3、task1的任务:

import time

from celery_app import app

@app.task
def add(x, y):
    # 阻塞测试
    time.sleep(3)
    return x + y  

  4、 task2的任务:

import time

from celery_app import app

@app.task
def mul(x, y):
    time.sleep(3)
    return x * y

运行任务:

  1、打开redis服务器:

$ .\redis-server.exe .\redis.windows.conf

 

  2、在celery_app文件的上一级 shift+右键 打开命令行窗口,win10打开powershell:

celery worker -A celery_app --pool=solo -l INFO

  此命令打开worer 任务目标为celery_app windows下需要加--pool=solo 日志级别为INFO

  3、然后打开celery beat 启动定时任务,另开一个命令行窗口:

 celery beat -A celery_app -l INFO

   4、结果如下:

  Python定时任务 Celery+Redis

  可以看见celery beat一直在隔10秒发送任务

  再来看worker:

  Python定时任务 Celery+Redis

  第一次是处理了4秒 其余是3秒,可以看出windows处理celery还是不太稳定。

  结语:celery是一个强大的库,能让我们处理异步任务,不过最好还是于Linux上运行