Jaro距离更适合短字符串去重，因其对视觉/听觉相似性更敏感、自动归一化长度差异且不惩罚字符顺序错位；实际应用需预处理、设阈值0.85（中文建议0.90+），并规避空字符串、破坏空格结构及大小写误处理等常见坑。
为什么 Jaro 而不是 Levenshtein 或 Jaccard？
因为 Jaro 距离对短字符串（如人名、城市名、产品型号）更敏感，且不依赖字符顺序错位惩罚——Levenshtein 在 “Smith” 和 “Smit” 上返回 1，但 Jaro 会给出 ≈0.92，更能反映“视觉/听觉相似性”。Jaccard 对长度差异大的字段（如 "iPhone 15 Pro" vs "iPhone15Pro"）几乎失效，而 Jaro 自动归一化长度影响。实际去重时，若字段平均长度
Go 标准库不支持 Jaro，得自己实现还是用第三方？
别引入 github.com/agnivade/levenshtein 这类只做编辑距离的包；也别抄网上错误百出的 Jaro 实现（常见 bug：没处理 m == 0 边界、窗口计算错、未转 float64 导致整除截断）。推荐直接用已验证的 github.com/agnivade/jaro-winkler ——它同时提供 Jaro() 和 JaroWinkler()，且对 Unicode 友好（内部用 rune 切分，非 byte）。安装：
go get github.com/agnivade/jaro-winkler。注意：该库默认不开启 Winkler 前缀权重，要纯 Jaro 就调
jaro.Jaro(s1, s2)，别误用 jaro.JaroWinkler(s1, s2, 0.0)（后者仍有隐式前缀逻辑）。
如何把 Jaro 距离嵌入结构化数据去重流程？
核心是定义“相似即重复”的阈值，并避免 O(n²) 全量比对。典型做法是：先按字段长度分桶（比如长度差 > 5 的字符串直接跳过比较），再对每桶内字符串两两计算 jaro.Jaro()，保留距离 ≥ 0.85 的 pair。示例代码片段：
type Product struct {
ID int
Name string
Brand string
}
func dedupeByName(products []Product, threshold float64) []Product {
kept := make(map[int]bool)
for i := range products {
if kept[i] {
continue
}
kept[i] = true
for j := i + 1; j < len(products); j++ {
if len(products[i].Name) < 3 || len(products[j].Name) < 3 {
continue // 过短字符串不参与 Jaro（易误判）
}
if abs(len(products[i].Name)-len(products[j].Name)) > 5 {
continue
}
dist := jaro.Jaro(products[i].Name, products[j].Name)
if dist >= threshold {
kept[j] = false // 标记为重复项
}
}
}
// 收集 kept[i] == true 的 product
}
关键点：
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等
- 阈值选 0.85 是经验值，中文姓名建议调高到 0.90+（如 “张三丰” vs “张三峰” 应命中）
- 必须预处理：统一 trim 空格、转小写（
strings.ToLower），但不要删标点——Jaro 对 “St.” 和 “Saint” 的区分正依赖这点 - 性能瓶颈在双循环，若数据量 > 10k，需改用 MinHash + LSH，但那是另一层复杂度了
-
jaro.Jaro()输入 nil 或空字符串会 panic，务必加if s == ""guard - 结构体字段含 emoji 或生僻汉字（如 “?”）时，
jaro.Jaro()默认用rune是对的，但若你手动做了strings.ReplaceAll(s, " ", "")再传入，就破坏了原始音节结构——Jaro 本就该在带空格下计算，“New York” 和 “NewYork” 的距离应明显低于 “New York” 和 “Old York” - 没考虑大小写语义：英文品牌 “iOS” 和 “ios” 应视为相同，但 “IOs”（大写 IO 小写 s）是不同词，所以必须用
strings.ToLower，不能用strings.ToUpper（某些土耳其语场景会出错）
立即学习“go语言免费学习笔记（深入）”；
为什么去重后还是漏掉或误杀？检查这三点
最常见的三个坑：
真正难的不是算距离，而是定义“什么算同一实体”——比如 "AWS EC2" 和 "Amazon EC2" Jaro 距离只有 0.62，但业务上就是同一个。这种得靠规则兜底，Jaro 只负责解决拼写变体。
