3分钟搞定 Flower-Celery 监控工具(监控爬虫运行状态)

时间:2024-03-14 17:36:51

什么是Flower?

Flower是基于web的监控和管理Celery的工具.

官方文档地址:
https://flower-docs-cn.readthedocs.io/zh/latest/

特性

  • 用Celery事件实时监控
  1. 任务进程和历史
  2. 能够显示任务的详细信息(arguments, start time, runtime等)
  3. 图形化和统计
  • 远程控制
  1. 查看worker状态和统计
  2. 关闭和重启worker实例
  3. 控制进程池大小,平滑配置(autoscale settings)
  4. 查看和修改一个worker实例消费的队列
  5. 查看当前正在运行的tasks
  6. 查看计划任务(ETA(估计到达的时间)/倒计时)
  7. 应用时间和速率限制
  8. 配置浏览器(Configuration viewer)
  9. 撤销或终止任务
  • Broker monitoring(中间人监控)
  1. 查看所有Celery 队列的统计
  2. 队列长度图

flower-celery的安装和使用:

  • 安装

pip3 install flower

  • 运行服务

celery flower --broker=‘broker_url地址’ --basic_auth=xxx:xxx

3分钟搞定 Flower-Celery 监控工具(监控爬虫运行状态)

3分钟搞定 Flower-Celery 监控工具(监控爬虫运行状态)

接下来我们就可以在 flower 中监控我们的爬虫了,folwer的基本使用就是这么简单