因为map[string]struct{}在千万级以上字符串去重时内存开销剧增（实测1000万条约1.2GB），而布隆过滤器仅需约12MB，以允许极小概率误判为代价实现高效存在性判断，且绝不漏判，适合作为轻量前置筛子。
为什么不用 map[string]struct{} 而要上布隆过滤器
当字符串量级达到千万级以上，比如日志去重、爬虫 URL 去重、实时流中判重，map[string]struct{} 的内存开销会迅速失控。一个长度平均 50 字节的字符串，在 map 中实际占用远不止 50 字节——要考虑哈希桶、指针、runtime 开销，实测 1000 万条可能吃掉 1.2+ GB 内存。布隆过滤器用固定大小位图 + 多个哈希函数，把空间压到可预测范围，典型配置下 1000 万元素只需 ~12 MB，代价是允许极小概率误判（false positive），但**绝不漏判（false negative）**。
关键判断点：如果你能接受“这个字符串*可能*见过”，但必须保证“这个字符串*绝对没见*过”时才放行（比如防重复入库、跳过已处理消息），布隆过滤器就合适；如果业务要求 100% 精确去重，它只能当第一道轻量筛子，后面还得接 map 或数据库查重。
选哪个 Go 布隆库？gonum.org/v1/gonum/stat/distuv 不行
gonum 库里没有布隆过滤器——那是常见误解。真正稳定、生产可用的主流选择是 github.com/yourbasic/bloom 和 github.com/willf/bloom。前者更轻量（纯 Go，无依赖），后者支持序列化但有 CGO 可选路径（默认不启用）。别碰 github.com/smartystreets/goconvey 里的实验性实现，已多年未维护。
实操建议：
- 新项目优先用
github.com/yourbasic/bloom：API 简洁，bloom.New(uint64(n), 0.01)直接按期望容量n和误判率0.01（1%）建表，内部自动算出最优 bit 数和哈希函数数 - 需要持久化到磁盘或跨进程共享？选
github.com/willf/bloom，调Filter.GobEncode()/GobDecode()即可，但注意它的NewWithEstimates()参数顺序易错：先传期望元素数，再传误判率 - 别自己手写哈希组合——Go 标准库
hash/fnv单 hash 不够，多 hash 要保证独立性，yourbasic/bloom内部用的是双 hash 推导多 hash，经验证可靠
Bloom.TestAndAdd() 是去重核心，但别在循环里反复 New
布隆过滤器实例是**有状态的**，TestAndAdd() 既判断又插入，返回 true 表示“已存在（或误判）”，false 表示“确定是新的”，此时你才该做后续处理（如写入 DB、发消息）。
常见错误：
- 每次处理一个字符串都
new一个过滤器 → 位图永远空，全当新数据，完全失效 - 用
Test()判断后再手动Add()→ 竞态条件下可能两个 goroutine 同时通过Test()，然后都Add()，导致逻辑重复（虽位图只设一次，但业务已执行两次） - 把字符串直接传给
TestAndAdd()→ 它接收[]byte，TestAndAdd([]byte(s))才对；传string会编译报错
正确模式：
立即学习“go语言免费学习笔记（深入）”；
// 初始化一次，复用
b := bloom.New(10_000_000, 0.001) // 1000 万容量，0.1% 误判
for _, s := range hugeStringSlice {
if !b.TestAndAdd([]byte(s)) {
// 确实是新字符串，执行去重后逻辑
processNewString(s)
}
}
字符串编码和哈希一致性：UTF-8 还是 raw bytes？
布隆过滤器对输入字节敏感，"café"（含 UTF-8 编码的 é）和 "cafe" 是完全不同的字节序列。如果你的数据源本身是规范 UTF-8，直接 []byte(s) 即可；但若存在混合编码（如部分 Latin-1）、或需忽略大小写、空白、协议前缀等，**必须在进布隆器前统一预处理**。
容易被忽略的点：
- URL 去重时，
http://a.com和https://a.com应视为不同？通常要 normalize：去掉 scheme、trailing slash、query 参数（或只留 key） - 日志行去重，可能需 trim 空格、标准化换行符（
\r\n→\n） - 不做预处理就塞进去，会导致本该去重的字符串因格式差异逃过检测，误判率数字再低也没意义
布隆过滤器本身不关心语义，它只忠实地对字节数组做位运算。真正的去重效果，一半靠参数配置，一半靠你喂给它的输入是否干净。
