文件名称：Python多线程超大日志文件解析转储写入mysql/postgresql
文件大小：12KB
文件格式：PY
更新时间：2022-02-17 11:00:32
Python 多线程 并发 超大文件
Python多线程超大日志文件解析转储，实现几十G超大文件并发处理。 实现功能如下： 1.多线程分块解析某超大日志文件，实现超大文件多线程分块处理 2.多线程写入数据到数据库postgresql/mysql 3.线程之间通过队列queue通讯 4.出错消息通过logging写日志 @author: ray ----------web日志格式如下----------------- 21.106.138.118 - - [02/Mar/2015:16:27:22 +0800] "GET / HTTP/1.1" 200 53 21.106.138.118 - - [02/Mar/2015:16:27:22 +0800] "GET /login.jsp HTTP/1.1" 200 5464 21.106.138.118 - - [02/Mar/2015:16:27:22 +0800] "GET /CMFKMProject/KMProjectWeb/KMProWeb_Css/CM.css HTTP/1.1" 200 5941