日志解析脚本需分步构建可维护逻辑：先识别格式特征，再设计可扩展解析器类，实现结构化输出与轻量分析，并通过命令行与配置驱动支持运维场景。

日志解析脚本的核心是准确提取关键字段、适配多格式日志、支持灵活过滤与结构化输出。不追求一次性通用，而应从实际日志样本出发，分步构建可维护的解析逻辑。

识别日志格式特征

真实日志往往混杂时间戳、级别、模块名、消息体，甚至嵌套JSON或空格/制表符分隔不一致。先用head -n 5和file命令观察原始文件编码与行首模式，再用Python快速统计前100行的字段分隔符频率：

• 用re.split(r'\s+', line.strip())粗略切分，看各位置字段是否稳定（如第0项是否总是ISO时间）
• 检查是否存在固定前缀（如[INFO]、2024-05-20T14:22:01.123Z、app.py:42）
• 留意异常堆栈——它们跨多行，需用line.startswith(' ') or line.startswith('\t')识别续行

设计可扩展的解析器类

避免写死正则，把解析逻辑封装成类，按日志类型注册不同处理器：

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

• 定义基类LogParser，含parse_line(self, line)抽象方法
• 为Nginx访问日志、Python logging输出、Syslog分别实现子类，各自维护专属正则或切分规则
• 在初始化时传入字段白名单（如['timestamp', 'level', 'module', 'message']），自动忽略无关字段
• 解析失败时返回None而非抛异常，由上层统一记录错误行号

结构化输出与轻量分析

解析结果优先转为字典列表，再导出为CSV/JSON/SQLite，便于后续处理：

立即学习“Python免费学习笔记（深入）”；

• 时间戳统一转为datetime对象，方便按小时/天聚合
• 对level字段标准化（如'WARN'→'WARNING'，'err'→'ERROR'）
• 提供简易统计接口：get_top_errors(n=10)按消息摘要去重计数，get_slow_requests(threshold_ms=500)筛选耗时字段超阈值的记录

命令行集成与配置驱动

脚本最终要能直接运行，支持常见运维场景：

• 用argparse接收--input、--format（nginx/python/syslog）、--since（如"2h"）、--filter-level
• 将常用正则、字段映射、时间格式存入config.yaml，解析器启动时加载，无需改代码即可适配新日志源
• 输出默认为UTF-8 CSV，加--json则输出每行一个JSON对象，兼容jq管道处理