celery 任务队列 + redis

时间：2020-12-20 15:29:12

Celery 是一个“自带电池”的的任务队列。它易于使用，所以你可以无视其所解决问题的复杂程度而轻松入门。它遵照最佳实践设计，所以你的产品可以扩展，或与其他语言集成，并且它自带了在生产环境中运行这样一个系统所需的工具和支持。

在此教程中，你会了解使用 Celery 的最基础部分。包括：

  • 选择和安装消息传输方式（中间人）。
  • 安装 Celery 并创建第一个任务
  • 运行职程并调用任务。
  • 追踪任务在不同状态间的迁移，并检视返回值。

选择中间人

　　Celery 需要一个发送和接收消息的解决方案，其通常以独立服务形式出现， 称为 消息中间人 。

　　在此介绍redis数据库   安装数据库请看另一篇文章：https://www.cnblogs.com/wbdream/p/10581310.html

安装celery：

　　安装celery接口： pip3 install celery

应用：

首先你需要一个 Celery 实例，称为 Celery 应用或直接简称应用。既然这个实例用于你想在 Celery 中做一切事——比如创建任务、管理职程——的入口点，它必须可以被其他模块导入。

在此教程中，你的一切都容纳在单一模块里，对于更大的项目，你会想创建 独立模块 。

让我们创建 tasks.py ：

　　

from celery import Celery

app = Celery('tasks', broker='redis://:password@localhost//')

@app.task

def add(x, y):

    return x + y

Celery 的第一个参数是当前模块的名称，这个参数是必须的，这样的话名称可以自动生成。第二个参数是中间人关键字参数，指定你所使用的消息中间人的 URL，此处使用了 RabbitMQ，也是默认的选项。更多可选的中间人见上面的 选择中间人 一节。例如，对于 RabbitMQ 你可以写 amqp://localhost ，而对于 Redis 你可以写 redis://localhost .

你现在可以用 worker 参数执行我们的程序：

　　$ celery -A tasks worker -l debug   # -l debug 日志级别

调用任务

你可以用 delay() 方法来调用任务。

这是 apply_async() 方法的快捷方式，该方法允许你更好地控制任务执行（见 Calling Tasks ）:

>>> from tasks import add

>>> res = add.delay(4, 4)
>>> res.get() #获取结构

ready() 方法查看任务是否完成处理:

>>> result.ready()

False

倘若任务抛出了一个异常， get() 会重新抛出异常， 但你可以指定 propagate 参数来覆盖这一行为:

>>> result.get(propagate=False)

如果任务抛出了一个异常，你也可以获取原始的回溯信息:

>>> result.traceback
 

相关文章