Python多进程记录日志

用gevent（或封装了gevent的gunicore）启动python进程，会出现多个独立进程同时写一个日志文件，

可以观察到有日志部分丢失：一个进程日志没写完，另一个进程把日志覆盖在同一行的后面；有些日志甚至完全丢失。

用mlogging包可以解决多进程写日志的问题，没有发现不完整的日志，是否丢失日志有待进一步检测。

下面是一个在python程序中记录重要信息，以便以后解析统计的函数

 

 

Python代码  

1. # -*- coding: utf-8 -*-  
2.   
3. import os.path  
4. import logging  
5. from mlogging import FileHandler_MP, TimedRotatingFileHandler_MP  
6. from functools import partial  
7.   
8.   
9. class LevelFilter(logging.Filter):  
10.   
11.     def __init__(self, level, *args, **kwargs):  
12.         #super(LevelFilter, self).__init__(*args, **kwargs)  
13.         self.level = level  
14.   
15.     def filter(self, record):  
16.         return record.levelno == self.level  
17.   
18.   
19. def init_info_logger(name, logging_dir):  
20.     logging_file = os.path.join(logging_dir, name+".log")  
21.     handler = TimedRotatingFileHandler_MP(logging_file, "midnight", 1)  
22.     handler.setFormatter( logging.Formatter(  
23.         "%(asctime)s %(levelname)-8s %(name)-20s %(message)s", #设置日志格式，固定宽度便于解析  
24.         datefmt = "%Y-%m-%d %H:%M:%S" #设置asctime时间格式  
25.     ))  
26.     handler.suffix = "%Y%m%d"  
27.     #只记录INFO级别信息，抛弃上面的WARNING、ERROR、CRITICAL几个级别  
28.     handler.addFilter( LevelFilter(logging.INFO) )  
29.   
30.     logger = logging.getLogger(name)  
31.     logger.setLevel(logging.INFO)  
32.     #有些Python版本会报错KeyError，找不到clientip或user，这里用一个短横(-)做默认值  
33.     extra={"clientip":"-", "user":"-"}  
34.     #exc_info是出错时的Debug详细回溯信息，这里禁止记录，只记录错误信息这一行  
35.     setattr(logger, "info", partial(logger.info, exc_info=False, extra=extra))  
36.     logger.addHandler( handler )  
37.     return logger  
38.   
39.   
40. def init_error_logger(logging_dir):  
41.     logging_file = os.path.join(logging_dir, "errors.log")  
42.     handler = FileHandler_MP(logging_file)  
43.     handler.setFormatter( logging.Formatter(  
44.         "%(asctime)s %(levelname)-8s %(message)s", #设置日志格式，固定宽度便于解析  
45.         datefmt = "%Y-%m-%d %H:%M:%S" #设置asctime时间格式  
46.     ))  
47.   
48.     logger = logging.getLogger()  
49.     logger.setLevel(logging.WARNING)  
50.     #有些Python版本会报错KeyError，找不到clientip或user，这里用一个短横(-)做默认值  
51.     extra={"clientip":"-", "user":"-"}  
52.     #exc_info是出错时的Debug详细回溯信息  
53.     setattr(logger, "critical", partial(logger.critical, exc_info=True, extra=extra))  
54.     setattr(logger, "error", partial(logger.error, exc_info=True, extra=extra))  
55.     setattr(logger, "warning", partial(logger.warning, exc_info=True, extra=extra))  
56.     logger.addHandler( handler )  
57.     return logger  
58.   
59.   
60. if __name__ == "__main__":  
61.     logger = init_info_logger("test", "./")  
62.     logger.debug("低级别的DEBUG，不会记录。")  
63.     logger.info("哈哈哈，这才是我想要的信息，请记下来。")  
64.     logger.error("高级别的ERROR，也被过滤掉。")