CSV字段含逗号时须用双引号包裹，否则解析错行；pandas默认quoting=csv.QUOTE_MINIMAL可正确处理，读取GBK编码需显式指定encoding='gbk'。

CSV里字段含逗号，不加双引号就错行

默认情况下，csv解析器把每个逗号都当分隔符，哪怕它出现在“杭州,西湖区”这种地址里。结果就是这一行被切出多一个字段，后续所有列全偏移，read_csv 报 parsererror: expected x fields in line y, saw z 是最常见症状。

解决办法不是手动删逗号，而是让生成方或读取方遵守 RFC 4180：用双引号包裹含特殊字符（逗号、换行、双引号）的字段。比如："杭州,西湖区","2024-03-15","他说道:""Hello"""。

• 导出时：Excel「另存为 CSV」默认会自动加引号；Pandas 写入用 df.to_csv(quoting=csv.QUOTE_MINIMAL)（这是默认值，一般不用改）
• 读取时：确保解析器开启引号识别——pandas.read_csv() 默认已启用，但若手动指定 quoting 错误（如设成 csv.QUOTE_NONE），就会失效
• 注意：Windows 记事本打开 CSV 可能隐藏引号，实际文件里必须存在，用 VS Code 或 head -n1 file.csv 看原始内容确认

pandas.read_csv() 中 quoting 参数怎么选

quoting 控制引号行为，不是“要不要引号”，而是“信不信引号”。关键区别在是否允许字段内出现未转义的逗号或换行。

• csv.QUOTE_MINIMAL（默认）：只给含逗号、换行、双引号的字段加引号，安全且兼容性最好
• csv.QUOTE_ALL：所有字段都加引号，适合下游系统强制要求格式统一，但文件体积略大
• csv.QUOTE_NONNUMERIC：数字字段不加引号，其余都加，同时把非数字字段转成字符串——慎用，可能意外改变类型
• csv.QUOTE_NONE：完全忽略引号，哪怕字段里有 "a,b" 也照拆，极易出错，仅用于已知无特殊字符的极简场景

如果发现字段被截断或类型异常，先检查是不是误设了 quoting=csv.QUOTE_NONE 或 doublequote=False。

字段里有双引号，怎么转义才不崩

CSV 标准规定：字段内双引号必须写成两个双引号（""），且整个字段必须用双引号包裹。例如："他说:""没问题""" 表示原文是「他说:"没问题"」。

Miller CSV TSV JSON 数据处理器

Miller (mlr) 是一个命令行工具，用于查询、整形和重新格式化名称索引数据，如 CSV、TSV、JSON 和 JSON Lines。它将 awk、sed、cut、join 和 sort 的功能整合到一个专为结构化数据处理而构建的单一工具中。

下载

手动拼接容易漏掉外层引号或写错转义，强烈建议交给库处理：

• Pandas 写入时，只要字段是字符串且含 "，to_csv() 默认自动转义并包裹——你不用管
• 手动生成 CSV 字符串？别用 str.replace('"', '""') 然后拼接，要用 csv.writer：

  import csv
  with open('out.csv', 'w', newline='') as f:
      w = csv.writer(f)
      w.writerow(['他说:"没问题"', '2024'])  # 自动处理引号和逗号

• 如果读取时报 Expected 2 fields, saw 3，大概率是某处双引号没成对转义，比如写成了 "他说:"没问题"（少了一个 "）

Excel 导出的 CSV 在 pandas 里读出来还是乱，为什么

表面看是 Excel 生成的，其实常踩两个隐形坑：编码和分隔符。

• Excel Windows 版默认用 gbk 编码导出，而 pandas.read_csv() 默认按 utf-8 解码，中文变乱码或报 UnicodeDecodeError。解法：显式指定 encoding='gbk'（或 encoding='utf-8-sig' 试下 BOM）
• 部分 Excel（尤其 Mac 版）可能用分号 ; 当分隔符，而非逗号。看文件前几行，如果字段间是 ;，就得加 sep=';'
• 还有种情况：Excel 导出时用了「UTF-8 带 BOM」，开头三个字节 \ufeff 会被当成列名一部分。用 encoding='utf-8-sig' 可自动剥离

真正麻烦的是混合问题：gbk 编码 + 双引号缺失 + 换行符在字段里。这时候别硬调参数，先用文本编辑器确认原始内容长什么样，再决定从哪一步开始修。