
本文介绍一种简洁、健壮的方式,动态加载并合并任意数量的 csv 文件对应的数据框:自动跳过不存在的文件,避免 unboundlocalerror,并基于列交集对齐数据后拼接。
本文介绍一种简洁、健壮的方式,动态加载并合并任意数量的 csv 文件对应的数据框:自动跳过不存在的文件,避免 unboundlocalerror,并基于列交集对齐数据后拼接。
在实际数据处理中,常需合并来自多个源(如 file1.csv、file2.csv、file3.csv)的结构化数据,但这些文件可能不全存在。若直接按固定变量名(如 df_1, df_2, df_3)读取并调用 .intersection(),极易触发 UnboundLocalError: local variable 'df_2' referenced before assignment —— 根本原因在于未初始化的变量被后续代码引用。
更优解是摒弃硬编码变量,改用列表统一管理有效数据框。以下为推荐实现:
import pandas as pd
import os
# 定义文件路径与对应列名
files = [file1, file2, file3]
headers = [header_1, header_2, header_3]
# ✅ 安全读取:仅对存在的文件执行 pd.read_csv,跳过缺失项
dfs = [
pd.read_csv(f, header=None, names=h, sep=',', index_col=None)
for f, h in zip(files, headers)
if os.path.exists(f)
]
# 若无有效数据框,返回空 DataFrame,避免后续操作报错
if not dfs:
concatenated_df = pd.DataFrame()
else:
# ? 计算所有有效 DataFrame 的列交集(要求至少一个 df 存在)
common_columns = set.intersection(*(set(df.columns) for df in dfs))
# 按交集列筛选各 df,并纵向拼接
concatenated_df = pd.concat(
[df[list(common_columns)] for df in dfs],
ignore_index=True,
sort=False
)✅ 关键优势说明:
-
零冗余判断:无需多个
if os.path.exists(...)+ 独立变量赋值,全部由列表推导式统一完成; -
强健容错:
dfs列表天然只包含成功加载的数据框,后续逻辑完全基于该列表,彻底规避未定义变量问题; -
灵活扩展:增删文件只需修改
files和headers列表,无需改动核心逻辑; -
语义清晰:
set.intersection(*(...))是 Python 原生支持的多集合交集写法,比链式.intersection().intersection()更通用、可读性更强。
⚠️ 注意事项:
-
pd.read_csv(..., index_col=None)显式指定可防止意外将某列设为索引; - 若原始 CSV 含表头,应移除
header=None并调整names使用方式; - 当所有文件均不存在时,
concatenated_df为空DataFrame(),业务层需据此做空数据处理(如日志提示或默认填充)。
该方案兼顾简洁性、可维护性与鲁棒性,是处理“可选多源数据合并”场景的标准实践。


















