因为merge()默认要求键严格相等，无法处理模糊匹配中的非唯一、非精确对应，会导致笛卡尔积膨胀；必须用recordlinkage先分块生成候选对，再计算相似度得分并取最优匹配。
为什么 merge() 直接用 on 参数会失败？
因为 merge() 默认要求键值严格相等，而模糊匹配（比如地址相似、公司名缩写不同）天然存在非唯一、非精确对应。一旦左表某条记录的键在右表中匹配到多个候选（例如“北京腾讯科技”匹配到“腾讯北京分公司”和“腾讯科技（北京）有限公司”），merge() 会直接做笛卡尔积式膨胀，结果行数爆炸，且无法控制匹配质量。
- 模糊匹配必须脱离
merge()的等值逻辑，改用逐行计算相似度 + 筛选 top-N - 非唯一键意味着一个左键可能对应多个右键，不能依赖索引对齐或唯一映射假设
- 直接用
pd.merge(left, right, on='name')本质是哈希查找，不支持编辑距离、Jaccard 或 token_set_ratio 这类计算
用 recordlinkage 做候选对生成 + 字符串相似度打分
recordlinkage 不是拿来直接 merge 的，而是先构建“可能匹配对”的候选集，再用字符串库打分、过滤、取最优。它天然支持非唯一键场景（比如用 indexation.Block 按城市分块，再在块内算相似度）。
- 先用
recordlinkage.Index构建候选对：避免全量比对，比如按province字段 block，只比同一省份内的记录 - 再用
compare.String计算多个字段的相似度（支持jarowinkler、levenshtein、qgram等算法） - 最后
compare.compute()输出带相似度得分的 DataFrame，每行是 (left_id, right_id, score)
import recordlinkage
from recordlinkage.compare import String
<p>indexer = recordlinkage.Index()
indexer.block('province') # 只在同一省里配对
candidate_links = indexer.index(df_left, df_right)</p><p>comparer = recordlinkage.Compare()
comparer.string('company_name', 'name', method='jarowinkler', threshold=0.7)
scores = comparer.compute(candidate_links, df_left, df_right)</p>如何保留左表所有行并取每个 left_id 的最高分右匹配？
scores 是 MultiIndex（left_id, right_id）→ score 的 Series，需重置索引、按 left_id 分组取 idxmax()，再用 df_right.loc[] 拿到对应行。
- 注意：如果某个
left_id在候选集中没任何得分 ≥ threshold，idxmax()会报错，得先用groupby(...).apply(lambda x: x.idxmax() if len(x) else pd.NA) - 匹配结果要 merge 回原
df_left，用left_index=True, right_index=True，别用字段名 join，避免重复键干扰 - 如果需 top-3 匹配，不用
idxmax，改用groupby().apply(lambda x: x.nlargest(3))，但后续合并逻辑变复杂
用 fuzzywuzzy 或 rapidfuzz 替代 recordlinkage？
可以，但仅适用于小规模数据（<1 万行）。fuzzywuzzy.process.extractOne() 或 rapidfuzz.process.extract() 是逐行查，没法自动做分块/索引优化，暴力遍历右表，O(M×N) 复杂度。
立即学习“Python免费学习笔记（深入）”；
-
rapidfuzz.fuzz.token_set_ratio比partial_ratio更适合地址/公司名这种词序混乱场景 - 必须自己写循环：
df_left['match'] = df_left['name'].apply(lambda x: extract(x, df_right['name'].tolist(), ...)) - 返回的是 (best_match, score, index)，需手动
map回df_right行，容易索引错位（尤其右表重置过索引）
真正难的不是算相似度，而是候选对剪枝和结果去重——recordlinkage 把这事做了，fuzzywuzzy 得自己补。
别跳过分块步骤，10 万行 × 10 万行直接算相似度，内存和时间都扛不住。
