Python日志解析核心是按格式提取时间、级别、模块、消息字段，再统计或告警；推荐用正则匹配标准格式，支持MemoryHandler实时捕获、Pandas批量分析及轻量告警。
Python日志文本解析的核心是**按格式提取关键字段（时间、级别、模块、消息）**，再结合业务需求做统计、告警或可视化。不依赖复杂框架也能快速上手。
识别日志格式，决定解析方式
常见 Python 日志格式示例如下：
2024-05-20 14:23:11,456 - INFO - requests.packages.urllib3.connectionpool - Starting new HTTP connection (1): api.example.com 2024-05-20 14:23:12,102 - WARNING - myapp.data_loader - Failed to load user_id=1024, retrying...
这种结构清晰的 %(asctime)s - %(levelname)s - %(name)s - %(message)s 格式，推荐用正则直接匹配，简单高效：
- 用
re.match(r'(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3}) - (\w+) - ([\w.]+) - (.+)', line)提取四元组 - 注意逗号和空格位置，时间中的毫秒部分（
,\d{3}）容易漏掉 - 若日志含换行消息体，需先按行分割，再合并多行消息（如 traceback）
用 logging.handlers.MemoryHandler 或自定义 Handler 实时捕获
不想解析文件？可在运行时直接收集日志：
立即学习“Python免费学习笔记（深入）”；
- 创建
memory_handler = logging.handlers.MemoryHandler(capacity=1000)，绑定到 logger - 程序中触发分析逻辑（如每100条、每5秒）时，调用
memory_handler.flush()获取缓存记录列表 - 每条
LogRecord对象自带.asctime、.levelname、.name、.msg等属性，无需正则
批量分析：Pandas + 正则快速汇总
处理大日志文件（如 daily.log）时，用 Pandas 提升效率：
- 逐行读取并解析，构建字典列表：
records.append({'time': m.group(1), 'level': m.group(2), 'module': m.group(3), 'msg': m.group(4)}) -
df = pd.DataFrame(records)，转为 DataFrame 后可轻松统计：df['level'].value_counts()、df[df['level']=='ERROR']['msg'].str.contains('timeout').sum() - 时间列转 datetime：
pd.to_datetime(df['time'], format='%Y-%m-%d %H:%M:%S,%f')，支持按小时聚合错误率
轻量告警与输出建议
分析脚本不必大而全，聚焦实用场景：
- 发现连续3条 ERROR，立即 print 并写入 alert.log
- 统计每分钟 ERROR 数量，超过阈值（如5次/分）发邮件（可用 smtplib）
- 生成简明 HTML 报告：用
df.to_html('report.html', index=False)，双击即可查看表格
