【文件属性】：
文件名称：Python多线程超大日志文件解析转储写入mysql/postgresql
文件大小：12KB
文件格式：PY
更新时间：2022-02-17 11:00:32
Python 多线程 并发 超大文件
Python多线程超大日志文件解析转储，实现几十G超大文件并发处理。
实现功能如下：
1.多线程分块解析某超大日志文件，实现超大文件多线程分块处理
2.多线程写入数据到数据库postgresql/mysql
3.线程之间通过队列queue通讯
4.出错消息通过logging写日志
@author: ray
----------web日志格式如下-----------------
21.106.138.118 - - [02/Mar/2015:16:27:22 +0800] "GET / HTTP/1.1" 200 53
21.106.138.118 - - [02/Mar/2015:16:27:22 +0800] "GET /login.jsp HTTP/1.1" 200 5464
21.106.138.118 - - [02/Mar/2015:16:27:22 +0800] "GET /CMFKMProject/KMProjectWeb/KMProWeb_Css/CM.css HTTP/1.1" 200 5941