flask的自带logger和celery的自带logger的使用

时间:2023-03-09 06:18:38
flask的自带logger和celery的自带logger的使用

前言

python有默认的日志配置,但是对于业务开发来说一般需要配置自己的日志输出方式,同时各种框架也继承了日志相关的内容。下面记录一下celery和flask框架中自带的logger使用方法。

flask使用logger

flask中的app对象自带了logger方法,其本质上是在python内置的logging模块上进行封装使用,其调用的方式为:

from flask import current_app

current_app.logger.error('this is a error')
current_app.logger.info('this is a info')
current_app.logger.warning('this is a wraning')
current_app.logger.debug('this is a debug')

配置方法

日志的配置方法有多种,和python配置日志的方式是一样的。

可参考:python日志配置logger

  • 通过字典配置
#logging.py
logger_dict = {
'version': 1, # 该配置写法固定
'formatters': { # 设置输出格式
'default': {'format': '[%(asctime)s] %(levelname)s in %(module)s: %(message)s',}
},
# 设置处理器
'handlers': {
'wsgi': {
'class': 'logging.StreamHandler',
'stream': 'ext://sys.stdout',
'formatter': 'default',
'level': 'DEBUG'
}},
# 设置root日志对象配置
'root': {
'level': 'INFO',
'handlers': ['wsgi']
},
# 设置其他日志对象配置
'loggers': {
'test':
{'level': 'DEBUG',
'handlers':['wsgi'],
'propagate':0}
}
}
  • 源码分析

flask的logger其实也是通过python的logging模块创建logger对象得到的,源码为:

# logging.py
from logging import getLogger, getLoggerClass
def create_logger(app):
...
# 创建一个调试模式下的日志处理器,级别为debug
debug_handler = DebugHandler()
debug_handler.setLevel(DEBUG)
debug_handler.setFormatter(Formatter(DEBUG_LOG_FORMAT))
# 创建一个运行过程的日志处理器,级别为error
prod_handler = ProductionHandler(_proxy_stream)
prod_handler.setLevel(ERROR)
prod_handler.setFormatter(Formatter(PROD_LOG_FORMAT))
# 获取应用的名字,即app = Flask(app.name)传入的参数名,然后创建一个logger对象
logger = getLogger(app.logger_name)
# 先清空以前所有的处理器
del logger.handlers[:]
logger.__class__ = DebugLogger
# 加入新的处理器
logger.addHandler(debug_handler)
logger.addHandler(prod_handler) # 默认情况下不继承
logger.propagate = False
return logger

当程序调用current_app.logger时,会得到create_logger函数返回的logger对象,如果我们开启的是调试模式,会使用debug_handler处理器;如果是非调试模式使用的是ProductionHandler处理器,日志的输出格式为:

# 调试模式格式
DEBUG_LOG_FORMAT = (
'-' * 80 + '\n' +
'%(levelname)s in %(module)s [%(pathname)s:%(lineno)d]:\n' +
'%(message)s\n' +
'-' * 80
)
# 非调试模式格式
PROD_LOG_FORMAT = '[%(asctime)s] %(levelname)s in %(module)s: %(message)s'

此外我们开发程序时可以看到除了我们调用current_app.logger产生的日志信息外,还有flask默认的日志信息,这个默认的日志输出我们是可以通过配置日志文件来修改的,但是current_app.logger产生的日志信息的格式是固定的,如果不满足我们的要求的话就需要手动创建logger对象来使用。

细节

我们加载日志文件的时候应该尽可能的早,避免在调用过一次app.logger之后才加载日志配置,所以最好在app被创建之前就加载日志配置文件。

# app.py
logging.config.fileConfig(Config.FILEPATH)
app = Flask(__name__)

在celery中使用logger

celery也封装了logger使用方法:

from celery.utils.log import get_task_logger
# 创建一个logger对象
logger = get_task_logger('name')

celery的logger调用的仍然是logging模块的logger.

# get_task_logger函数调用了get_logger函数
# 传入一个字符串获取一个logger对象
def get_logger(logger):
"""Get logger by name."""
# 判断该参数是不是字符串,是就获取一个logger对象
if isinstance(logger, string_t):
logger = logging.getLogger(logger)
# 没有处理器就添加NullHandler处理器
if not logger.handlers:
logger.addHandler(logging.NullHandler())
return logger
  • 其相关的配置可以在celery的配置文件中设置;
# 在4.0版本后改成了小写,但是原来的还没有弃用
CELERYD_HIJACK_ROOT_LOGGER :默认true,先前所有的logger的配置都会失效,可以通过设置false禁用定制自己的日志处理程序;
CELERYD_LOG_COLOR :是否开启不同级别的颜色标记,默认开启;
CELERYD_LOG_FORMAT :设置celery全局的日志格式;默认格式:"[%(asctime)s: %(levelname)s/%(processName)s] %(message)s"
CELERYD_TASK_LOG_FORMAT:设置任务日志格式,默认:"[%(asctime)s: %(levelname)s/%(processName)s [%(task_name)s(%(task_id)s)] %(message)s"
CELERY_REDIRECT_STDOUTS:设置标准输入输出重定向到当前的处理器,默认为 true
CELERY_REDIRECT_STDOUTS_LEVEL:设定标准输入输出重定向到当前的处理器日志的输出级别;即指定使用print()输出的是什么级别的日志记录;默认wraning;

注意:

  1. 由于celery的运行是独立的,在flask中定义的logger对象的配置在celery的程序中是失效的,必须使用get_task_logger创建logger;

  2. 指定celery日志的输出等级,通过启动时用--loglevel参数来指定;

参考