pandas读取含重复列名的CSV时默认不报错，columns含重复值，导致df["name"]返回多列、df.name报错；需用mangle_dupe_cols=True自动重命名或升级至1.5.0+版本。
读取CSV时列名重复导致columns变成Index但含重复值
当原始CSV文件本身就有相同列名（比如两个“name”、三个“id”），pandas默认不会报错，而是直接生成一个含重复标签的columns对象。后续用df["name"]会返回所有同名列组成的DataFrame，而不是单列；用df.name则直接报AttributeError——这是最常被忽略的隐患。
根本原因不是数据问题，而是pandas在read_csv()阶段没做列名去重，也没给用户明确提示。
- 用
df.columns.is_unique可快速检查是否重复：False就说明有坑 - 别依赖
df.head()肉眼识别——重复列名在输出里看起来完全正常 - 一旦写入后续逻辑（如
groupby、merge），可能在下游才爆ValueError: cannot insert xxx, already exists
read_csv()的prefix参数只对无列名文件生效
很多人试过pd.read_csv("x.csv", prefix="col_")却发现没用——因为prefix仅在header=None时起作用：此时pandas把每列当作无名数据，再用prefix + 数字编号生成列名（如col_0, col_1）。如果原文件带表头，prefix被完全忽略。
所以想靠prefix解决已有重复列名，行不通。
- ✅ 正确用法：
pd.read_csv("x.csv", header=None, prefix="raw_")→ 列名变成raw_0,raw_1… - ❌ 错误期待：
pd.read_csv("x.csv", prefix="fix_")→ 无任何效果，列名照旧重复 - ⚠️ 注意：
prefix和names不能共存，否则报ValueError: 'prefix' only valid when 'names' is None
真正有效的方案：用mangle_dupe_cols=True或手动重命名
pandas从1.5.0开始支持mangle_dupe_cols=True（默认False），它会在读取时自动对重复列名加后缀.1、.2等，类似Excel打开乱码CSV的行为。
df = pd.read_csv("dup.csv", mangle_dupe_cols=True)
# 原列名 ["id","name","id","score"] → 变成 ["id","name","id.1","score"]如果你用的是旧版pandas（_left/_right），就得手动处理：
- 先读取：
df = pd.read_csv("dup.csv", header=0) - 再用
df.columns = [f"{c}_{i}" if c in seen else seen.add(c) or c for i, c in enumerate(df.columns)]这类逻辑重写（注意seen要初始化为set()） - 更稳妥的做法是用
pandas.io.parsers.read_csv的names参数显式传入唯一列名列表
合并多个CSV时重复列名更危险，必须提前处理
用pd.concat([df1, df2], axis=1)拼横向数据时，如果两个DataFrame都有"date"列，结果里会出现两个"date"——这时mangle_dupe_cols不生效，得靠keys或suffixes参数干预。
比如pd.concat([df1, df2], axis=1, suffixes=("_src", "_dst"))会让重复列变成"date_src"和"date_dst"。
- ⚠️
suffixes只影响axis=1且列名冲突时，对axis=0无效 - 如果已存在
.1类后缀，suffixes仍会追加，变成"date.1_src"，容易混乱 - 最省心的做法：读每个CSV时就用
mangle_dupe_cols=True，再concat前统一检查df.columns.is_unique
重复列名的问题从来不在读取那一刻暴露，而是在你调用df[["id", "id"]]或df.groupby("id")时突然卡住——留个assert df.columns.is_unique在ETL开头，比事后调试快十倍。
