centos celery 日志管理

celery经常会产生大量日志，长时间累计下来会对服务器造成一定的压力

1 配置 logrotate 进行日志拆分

logrotate 是 Linux 系统中常用的日志管理工具。我们将使用它来管理 Celery 的日志文件，确保日志文件不会无限增长，并定期拆分、归档和删除旧日志。

1.1 创建 logrotate 配置文件

在 /etc/logrotate.d/ 目录下创建一个专门为 Celery 日志配置的文件，例如 celery：

sudo nano /etc/logrotate.d/celery

1.2 编辑 celery 的 logrotate 配置

在该文件中，添加如下配置：

/var/log/celery/*.log {
    daily                        # 日志轮转频率，可选 weekly, monthly
    rotate 7                     # 保留多少个日志文件
    missingok                    # 忽略不存在的日志文件
    notifempty                   # 不处理空文件
    compress                     # 压缩轮转后的日志文件
    delaycompress                # 等到下一个轮转周期才压缩
    copytruncate                 # 在不关闭原始文件的情况下复制和截断
    dateext                      # 使用日期作为后缀
    su celery celery             # 确保日志文件所有者和权限正确
    create 0640 celery celery    # 创建新日志文件时设置权限和所有者
    postrotate
        systemctl reload celery  # 在日志轮转后重启或重新加载 Celery 服务
    endscript
}

1.3 配置解释：

daily：每天轮转日志，可以改为 weekly 或 monthly。
rotate 7：保留 7 个历史日志文件。
compress：压缩旧的日志文件以节省空间。
copytruncate：日志文件在轮转时截断，而不关闭 Celery 的日志写入句柄。这非常适合长时间运行的应用程序。
create 0640 celery celery：创建新的日志文件时，设置文件权限为 0640，所有者为 celery 用户和组。

2. 测试 logrotate 配置

为了确保你的 logrotate 配置文件工作正常，你可以手动运行 logrotate 进行测试：

sudo logrotate -f /etc/logrotate.d/celery

这将强制运行 logrotate 并立即对 Celery 日志进行轮转处理。你可以检查 /var/log/celery/ 目录下的日志文件，确认它们是否按预期被分割和压缩。

3. 确保 Celery 用户和日志目录权限

为了避免权限问题，确保 Celery 日志目录和日志文件的所有者和权限设置正确。假设你使用的是 celery 用户，设置目录和文件权限如下：

sudo chown -R celery:celery /var/log/celery
sudo chmod 755 /var/log/celery

4. 定期执行 logrotate

logrotate 是通过 cron 服务自动运行的。默认情况下，它每天都会检查配置并根据需要进行日志轮转。如果你想手动检查 cron 任务，可以运行：

sudo cat /etc/cron.daily/logrotate

CentOS 会根据配置对 Celery 日志进行定期拆分处理。

秒客网