【文件属性】:
文件名称:Python多线程超大日志文件解析转储写入mysql/postgresql
文件大小:12KB
文件格式:PY
更新时间:2022-02-17 11:00:32
Python 多线程 并发 超大文件
Python多线程超大日志文件解析转储,实现几十G超大文件并发处理。
实现功能如下:
1.多线程分块解析某超大日志文件,实现超大文件多线程分块处理
2.多线程写入数据到数据库postgresql/mysql
3.线程之间通过队列queue通讯
4.出错消息通过logging写日志
@author: ray
----------web日志格式如下-----------------
21.106.138.118 - - [02/Mar/2015:16:27:22 +0800] "GET / HTTP/1.1" 200 53
21.106.138.118 - - [02/Mar/2015:16:27:22 +0800] "GET /login.jsp HTTP/1.1" 200 5464
21.106.138.118 - - [02/Mar/2015:16:27:22 +0800] "GET /CMFKMProject/KMProjectWeb/KMProWeb_Css/CM.css HTTP/1.1" 200 5941