Python处理日志核心是“读取→解析→过滤→统计→输出”：逐行读取防溢出，正则提取结构化字段，Counter统计高频IP与错误趋势，CSV/HTML导出结果，无需框架即可自动化。
用Python处理日志文件，核心是“读取→解析→过滤→统计→输出”，不依赖复杂工具也能快速完成日常分析任务。
一、按行读取并筛选关键日志
大多数日志是文本格式，逐行读取最稳妥。避免一次性加载大文件导致内存溢出。
- 用 with open(...) 安全读取，配合 enumerate 获取行号便于定位
- 常用过滤方式：用 if "ERROR" in line 或正则 re.search(r"50\d|timeout", line)
- 跳过空行或注释行：if not line.strip() or line.startswith("#"): continue
二、用正则提取结构化字段
原始日志通常无固定分隔符，但时间、IP、状态码等信息位置相对稳定，正则最灵活。
- 示例（Apache/Nginx常见格式）：pattern = r'(\S+) \S+ \S+ \[([^\]]+)\] "(\w+) ([^"]+)" (\d+) (\d+|-)'
- 用 re.match() 提取后生成字典：{"ip": m.group(1), "time": m.group(2), "method": m.group(3), ...}
- 时间字符串建议转为 datetime 对象，方便后续按时间段聚合
三、统计与异常检测自动化
分析不是只为看一眼，重点是发现规律和异常点。
Apache Superset Dashboard and SQL Exploration Skill
下载
Apache Superset 是一个广泛采用的开源 BI 平台，用于 SQL 探索、图表构建和仪表板交付。当代理需要查询仓库数据、组装仪表板或使用成熟的分析界面解释指标而不是临时笔记本代码时，此技能非常有用。
立即学习“Python免费学习笔记（深入）”；
- 高频IP访问：用 collections.Counter 统计 ip_list，取 top10
- 错误趋势：按小时分组，统计每小时 5xx 数量，画折线图或输出突增时段
- 慢请求识别：提取响应时间字段（如最后数字），标记 >2000ms 的请求并保存详情
四、结果导出与简单报告生成
分析完要让人看得懂，终端打印+文件留存双保险。
- 汇总结果写入 CSV：pandas.DataFrame(results).to_csv("report.csv", index=False)
- 关键指标用 print 格式化输出，比如：print(f"总请求: {total}, 错误率: {err_rate:.2%}")
- 生成简易 HTML 报告（用字符串拼接即可）：含标题、表格、加粗关键数据，浏览器直接打开
基本上就这些。不需要框架也能跑起来，关键是根据你的日志格式调好正则和字段逻辑，后续加定时任务（如 cron + Python 脚本）就真正自动化了。
