本文介绍如何在两个不同长度的 dataframe 之间，基于子字符串关系（而非精确匹配）快速完成列映射，避免低效循环，结合字符串切片、map、merge 及分组策略实现高性能匹配。
本文介绍如何在两个不同长度的 dataframe 之间，基于子字符串关系（而非精确匹配）快速完成列映射，避免低效循环，结合字符串切片、map、merge 及分组策略实现高性能匹配。
在实际数据处理中，常遇到这样的场景：一个较短的 DataFrame（如 FrameA）包含若干 ID 字符串，另一个较长的 DataFrame（如 FrameB）包含更长的复合字符串（例如带前缀的 IBAN 或交易号），目标是为 FrameA 每个 ID 找到 FrameB 中首个包含该 ID 作为子串的完整字符串，并映射为新列。直接使用 for 循环虽逻辑清晰，但面对万级以上数据时性能急剧下降；而 np.where 等向量化操作又因两帧尺寸不一致而无法直接应用。
幸运的是，Pandas 提供了多种高效替代方案，核心思路是：优先利用结构规律加速匹配，再对剩余未匹配项兜底处理。
✅ 方案一：后缀匹配（推荐 —— 当子串恒为末尾固定长度时）
观察示例数据可发现：FrameA 中所有 ID 均为 11 位数字，且恰好对应 FrameB 中各字符串的最后 11 个字符。此时无需全量子串搜索，只需提取 FrameB['A'] 的后 11 位构建索引，再用 map 实现 O(1) 查找：
# 构建 FrameB 的后11位 → 全字符串映射字典 mapper = FrameB.set_index(FrameB['A'].str[-11:])['A'] # 映射到 FrameA FrameA['B'] = FrameA['A'].map(mapper)
等价地，也可用 merge 实现（更直观，支持 how='left' 保留未匹配行）：
FrameA = FrameA.merge(
FrameB.rename(columns={'A': 'B'}),
left_on='A',
right_on=FrameB['A'].str[-11:],
how='left'
)✅ 优势：时间复杂度 O(n + m)，完全向量化，毫秒级完成百万级匹配。
✅ 方案二：按长度分组 + 动态后缀映射（适用于多长度 ID）
若 FrameA 中 ID 长度不统一（如既有 11 位也有 8 位），但每组内长度一致，且仍满足“ID 是 FrameB 字符串的后缀”这一规律，可借助 groupby + apply 分别构建各长度对应的映射器：
def make_length_mapper(length):
# 对 FrameB 提取指定长度后缀，去重保留首个匹配项（防重复键冲突）
suffixes = FrameB['A'].str[-length:]
return FrameB.set_index(suffixes)['A'].groupby(level=0).first()
# 按 FrameA 中 ID 长度分组，对每组调用对应 mapper
FrameA['B'] = (
FrameA.groupby(FrameA['A'].str.len(), group_keys=False)['A']
.apply(lambda g: g.map(make_length_mapper(g.name)))
)此方式兼顾了灵活性与效率，仍避免全量遍历。
⚠️ 方案三：兜底 —— 任意位置子串匹配（慎用，仅处理剩余未匹配项）
若上述结构化匹配后仍有 NaN（如 FrameA['A'] == "21864009" 在 FrameB 中并非后缀，而是嵌入中间），则对未匹配行启用逐元素子串搜索作为兜底：
def find_substring_in_B(substr):
for s in FrameB['A']:
if substr in s:
return s
return None
mask_unmatched = FrameA['B'].isna()
FrameA.loc[mask_unmatched, 'B'] = FrameA.loc[mask_unmatched, 'A'].map(find_substring_in_B)? 提示：该步骤为 O(k × m) 复杂度（k 为未匹配数），务必仅作用于少量剩余行，否则性能会退化。可通过 print(FrameA['B'].isna().sum()) 监控未匹配数量。
? 最终效果与注意事项
运行全部步骤后，FrameA 将得到符合预期的 Col B：
| A | B |
|---|---|
| 00281378554 | AT411513000281378554 |
| 10862520000 | AT424480010862520000 |
| 82540193700 | AT742011182540193700 |
| 76015394900 | AT531200076015394900 |
| 00134355050 | AT511634000134355050 |
| 21864009 | HU02142201082186400900000000 |
? 关键注意事项：
- 若 FrameB 存在重复后缀（如多个字符串以 "12345678901" 结尾），set_index 会覆盖，建议用 .groupby(...).first() 显式保留首个；
- 字符串匹配区分大小写，必要时统一转小写（.str.lower()）；
- 对超大数据集，可考虑将 FrameB 的后缀索引预计算并缓存，避免重复切片；
- 生产环境强烈建议添加 try/except 和日志，捕获 KeyError 或空结果异常。
通过组合结构化映射与精准兜底，你既能享受向量化性能，又能保证业务逻辑完整性——这才是 Pandas 高效数据关联的正确打开方式。
