pandas.read_csv可处理多数自定义分隔符日志，关键在正确配置sep、engine、quoting等参数；复杂结构需用re.findall或str.extract；写入数据库前须严格处理dtype、null及chunksize。
用 pandas.read_csv 处理自定义分隔符日志最稳
多数日志不是标准 csv，但 pandas.read_csv 能扛住大部分变体。关键不在“能不能读”，而在“怎么告诉它别猜错”。
常见错误现象：ParserError: Expected x fields in line y, saw z —— 这通常不是分隔符错了，是某行里字段含未转义的换行或引号，而 pandas 默认按整行切分。
- 用
sep指定分隔符，支持单字符（' '）或多字符（'\s+'），但正则需加regex=True - 遇到空格不等宽日志（如
nginx的log_format输出），优先用sep=r's+'+engine='python'，避免 C 引擎对正则支持弱 - 若日志含嵌套引号或注释行，加
comment='#'和quoting=csv.QUOTE_NONE（需import csv） - 列名缺失时，用
header=None+names=[...]显式声明，别依赖infer，否则首行数据可能被当列名吃掉
正则解析日志必须用 re.findall 或 str.extract
当分隔符不固定、字段含空格又不能简单切分（比如 timestamp="2024-01-01 12:34:56" level=INFO msg="user login"），read_csv 就力不从心了。
使用场景：Nginx access log、Java stack trace 前缀、Syslog 格式、自定义 JSON 混排日志。
-
re.findall更灵活，适合一次性提取全部字段：re.findall(r'(S+) - - [(.*?)] "(.*?)" (d+) (d+|-)', line) -
str.extract配合pandas.Series更适合批量处理：df['ip'].str.extract(r'^(d+.d+.d+.d+)') - 性能影响：正则比
split慢 3–5 倍，但比反复re.search快；大文件先用grep -m 1000抽样调试 pattern，别直接跑全量 - 容易踩的坑：
.默认不匹配换行，多行日志要加re.DOTALL；贪婪匹配（.*）易吞掉后续字段，改用.*?或明确边界（如"([^"]*)"）
写入数据库前必须做 dtype 和 null 处理
日志字段类型混乱是导入失败主因——字符串里混着 '-' 、'N/A'、空格，直接 to_sql 会报 Invalid type for column xxx 或静默转成 object 导致查询极慢。
- 数值列先
.replace({'-': None, 'N/A': None}).astype('float64')，别用pd.to_numeric(..., errors='coerce')—— 它对非数字字符串一律转NaN，但不会动'-' - 时间列别依赖
parse_dates自动推断，用pd.to_datetime(df['time'], format='%d/%b/%Y:%H:%M:%S %z', errors='coerce')显式指定，否则时区或格式偏差会导致整列变NaT - 字符串列统一
.str.strip()，再.replace('', None)，避免空字符串进 DB 占用索引空间 - PostgreSQL 对
NULL敏感，MySQL 默认把空字符串当''，写入前用df.where(pd.notna(df), None)统一 null 表示法
to_sql 批量写入要注意 chunksize 和 if_exists
直接 df.to_sql('logs', conn) 看似省事，实际在百万级日志上极易 OOM 或锁表超时。
参数差异：if_exists='append' 是安全默认，但 'replace' 会删表重建，'fail' 遇到表存在直接抛异常，别在生产环境试错。
- 设
chunksize=10000（非越大越好），配合method='multi'可减少 SQL 请求次数，但 SQLite 不支持 multi，得关掉 - PostgreSQL 推荐用
method=lambda _, df: pg_insert_many(conn, df)自定义函数，走execute_values（psycopg2.extras）批量插入，快 3–4 倍 - MySQL 注意
max_allowed_packet，chunksize 超过 1MB 可能被拒，提前查SHOW VARIABLES LIKE 'max_allowed_packet' - 别忽略
index=False—— 默认带 index 列写入，DB 多一列index，还可能和主键冲突
正则 pattern 写错一次，可能漏掉整个字段；dtype 转换漏一个 replace，后面所有聚合都偏移。这些地方没法靠重跑补救，只能在抽样阶段盯紧输出。
