
本文介绍一种简洁健壮的方法,利用列表推导式和 set.intersection 动态加载并合并任意数量的 CSV 文件对应的数据框,自动跳过不存在的文件,彻底避免 UnboundLocalError。
本文介绍一种简洁健壮的方法,利用列表推导式和 `set.intersection` 动态加载并合并任意数量的 csv 文件对应的数据框,自动跳过不存在的文件,彻底避免 `unboundlocalerror`。
在实际数据处理中,我们常需合并来自多个源(如 file1.csv、file2.csv、file3.csv)的表格数据,但这些文件可能并非全部存在——例如因上游任务失败、路径错误或条件分支未执行,导致部分 DataFrame 变量未被定义。直接按固定顺序调用 df_1.columns.intersection(df_2.columns).intersection(df_3.columns) 会触发 UnboundLocalError: local variable 'df_2' referenced before assignment,因为 Python 不允许引用未初始化的局部变量。
更优解是*放弃显式命名多个 `df_` 变量,转而统一管理为一个动态列表**。核心思路如下:
- 预定义文件路径与列名映射关系;
-
仅对真实存在的文件执行
pd.read_csv()并收集结果; - *使用 `set.intersection(iterable)` 高效计算所有有效 DataFrame 的公共列**;
-
统一筛选列并拼接,空列表时返回空
DataFrame以保证类型稳定。
✅ 推荐实现代码:
import pandas as pd
import os
# 配置:按顺序对应 file1/file2/file3 和 header_1/header_2/header_3
files = [file1, file2, file3]
headers = [header_1, header_2, header_3]
# ✅ 安全读取:仅处理存在的文件,自动过滤掉缺失项
dfs = [
pd.read_csv(f, header=None, names=h, sep=',', index_col=None)
for f, h in zip(files, headers)
if os.path.exists(f)
]
# ✅ 计算公共列(支持 0、1 或多个 DataFrame)
if dfs:
# 将每个 df.columns 转为 set,再求交集;* 解包为参数
common_columns = set.intersection(*(set(df.columns) for df in dfs))
# 按公共列筛选并拼接(注意:list(common_columns) 保证列序一致,避免 concat 报 warning)
concatenated_df = pd.concat(
[df[list(common_columns)] for df in dfs],
ignore_index=True,
sort=False
)
else:
concatenated_df = pd.DataFrame() # 返回空但结构合规的 DataFrame⚠️ 注意事项:
-
set.intersection(*...)要求至少一个set参数;若dfs为空,直接短路进else分支,避免报错; - 使用
list(common_columns)而非common_columns(set无序)传入df[...],确保各 DataFrame 列顺序一致,防止concat出现隐式重排序; -
index_col=None显式指定可避免意外将某列设为索引;sort=False禁用列名自动排序,提升可预测性; - 此模式天然支持扩展:只需向
files/headers列表追加新元素,无需修改逻辑。
该方案将原本冗长的多层 if-else 判断压缩为声明式表达,兼具可读性、健壮性与可维护性,是处理“可选输入文件”场景的标准实践。


















