相似度分数比简单匹配更贴近语义，应按文本类型和错误特征选用算法：拼写错用Levenshtein，人名用Jaro-Winkler，同音词用Soundex，等长码用Hamming；需标准化预处理并设动态阈值，工程中要粗筛、缓存、防空值。
直接用相似度分数做判断，比单纯查包含或正则更贴近真实语义。关键不是选最复杂的算法，而是匹配场景——比如人名纠错用 Jaro-Winkler，拼写容错用 Levenshtein，发音近似用 Soundex。
选对算法：按文本类型和错误特征匹配
不同错误类型对应不同算法，硬套一个会降低准确率：
- 拼写错、漏字、多字（如“microsft”→“microsoft”）：优先用 Levenshtein 距离 或其变体 Damerau-Levenshtein（支持邻位交换，如“teh”→“the”）
- 人名/地名前缀一致但后缀不同（如“Robert” vs “Roberto”）：用 Jaro-Winkler，它对开头字符给予更高权重
- 同音不同字（如“张三”和“章山”、“Smith”和“Smyth”）：用 Soundex 或 Metaphone 类语音编码，先转码再比等值
- 等长短码校验（如产品编号、校验码、DNA碱基序列）：用 Hamming 距离，逐位比差异数，快且确定
标准化预处理：让比较更公平
原始字符串常含干扰信息，不清洗就比，结果波动大：
- 统一大小写：
.lower()或.upper()，避免 “Apple” 和 “apple” 被判为低相似 - 清理无关字符：去掉空格、标点、括号、单位（如 “100kg” → “100kg”，但 “100 kg” → “100kg”）
- 处理缩写与全称：可预先构建映射表（如 {“NY”: “New York”, “Inc.”: “Incorporated”}），或用规则替换后再比
- 中文需分词？不一定。对姓名、品牌名等专有名词，直接用编辑距离效果常优于分词+TF-IDF；若比长句子（如地址描述），可先用 jieba 分词再用 token_sort_ratio
设定合理阈值：不是越高越好
相似度 100 是理想，但业务中要平衡查全率和查准率：
- 人名去重：建议阈值 85–92（Jaro-Winkler），太低易误连“李明”和“李铭”，太高会漏掉“王小明”和“王晓明”
- 搜索纠错：70–85（Levenshtein ratio）较稳妥，允许 1–2 处错字仍召回
- Soundex 编码匹配：直接判等即可，无需分数阈值（相同编码即视为发音相近）
- 动态调阈值：对长度＜4 的字符串，提高阈值（如 ≥90）；对长度＞20 的，可略降（如 ≥65），避免因长文本天然拉低分数而漏匹配
工程落地技巧：提速 + 防坑
实际跑批量数据时，几个细节决定能否上线：
- 先粗筛再精算：用长度差、首字母、是否含关键词等快速过滤 80% 明显不匹配项，再调用 fuzz.ratio
- 缓存高频对：对反复出现的字符串对（如固定品牌名列表 vs 用户输入），用字典缓存结果，避免重复计算
- 避免空值/None 报错：调用前加
if not x or not y: return 0，尤其在 pandas .apply 中容易崩 - 中文兼容性：fuzzywuzzy/thefuzz 原生支持 UTF-8，无需转拼音；但 SQLite 的 Sqlean fuzzy 模块只认 ASCII，中文需先过
fuzzy_translit()
