本文介绍如何利用 pandas 的 stack() 与 merge() 替代低效的逐行遍历，以 O(n) 时间复杂度完成跨 DataFrame 的二维键值映射，显著提升大规模数据下的映射效率。
本文介绍如何利用 pandas 的 `stack()` 与 `merge()` 替代低效的逐行遍历，以 o(n) 时间复杂度完成跨 dataframe 的二维键值映射，显著提升大规模数据下的映射效率。
在实际数据分析中，常需根据两个字段（如 Subtype 和 Building Condition）联合查表获取对应策略（如 Intervention）。若查表结构为行列对齐的矩阵式 DataFrame（行索引为子类型、列为状态标签），传统做法是用 for 循环配合 df.at[row_idx, col_name] 逐行提取——该方法逻辑清晰但性能较差：时间复杂度为 O(n)，且 Python 层循环无法利用 pandas 底层优化，在万级及以上数据量时成为明显瓶颈。
更高效的方式是将查表 DataFrame（df2）“压平”为标准长格式（long format），使其具备与目标 DataFrame（df1）可直接 merge 的结构。核心思路是：将 df2 的行索引与列名共同转化为普通列，生成三元组 (Subtype, Building Condition, Intervention)，再与 df1 基于两列自然连接。
具体实现如下：
import pandas as pd
# 构建示例数据
data1 = {'Subtype': ['A', 'B', 'C'], 'Building Condition': ['Good', 'Bad', 'Bad']}
data2 = {'Good': {'A': 'Repair', 'B': 'Retrofit', 'C': 'Reconstruct'},
'Bad': {'A': 'Retrofit', 'B': 'Reconstruct', 'C': 'Reconstruct'}}
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)
# 高效映射：stack → 重命名 → merge
tmp = (df2
.stack() # 将列转为二级索引：(Subtype, Building Condition) → value
.reset_index(name='Intervention') # 恢复为普通列，并命名新值列
.rename(columns={'level_0': 'Subtype', 'level_1': 'Building Condition'}) # 统一列名
)
result = df1.merge(tmp, on=['Subtype', 'Building Condition'], how='left')执行后 result 即为所求：
Subtype Building Condition Intervention 0 A Good Repair 1 B Bad Reconstruct 2 C Bad Reconstruct
✅ 优势总结：
- 性能跃升：stack() 是向量化操作，底层由 Cython 实现；merge 基于哈希连接，平均时间复杂度接近 O(n)，远优于显式 Python 循环；
- 代码简洁：单链式表达，无状态变量（如空列表）、无索引管理，可读性与可维护性更高；
- 健壮性强：自动处理缺失组合（how='left' 保证 df1 行数不变，缺失值置为 NaN），便于后续校验；
- 扩展友好：若查表维度增加（如新增 Age_Group 列），只需调整 stack() 层级与 merge 键即可，无需重写循环逻辑。
⚠️ 注意事项：
- 确保 df2 的行索引名（index.name）与 df1 中用于匹配的列名一致，否则需显式 rename；
- 若 df2 存在重复索引或列名，stack() 可能引发歧义，建议预先检查 df2.index.is_unique 和 df2.columns.is_unique；
- 对超大规模数据（千万行以上），可考虑使用 pd.concat([df2[col].rename(col) for col in df2.columns], axis=0) 替代 stack() 以减少内存峰值，但通常 stack() 已足够高效。
该方法体现了 pandas “以数据形状驱动操作”的设计哲学——不强行适配原始结构，而是通过标准化中间表示（长格式）打通不同操作范式，是数据工程中值得沉淀的通用模式。
