讲师中心 微信公众号
AI工具推荐 视频效率加速

怎样通过Redis Bitmap搭建低延迟支持精准布隆过滤器的拦截层?

风雪同学_2340

风雪同学_2340

发布时间:2026-11-08 08:51:38

|

626人浏览过

|

来源于php中文网

原创

能,但必须绕开 BITOP 和大 offset 写入,且不能依赖单个 SETBIT 命令做高并发写入,否则将引发延迟毛刺、误判率失控和 Redis 阻塞。

怎样通过redis bitmap搭建低延迟支持精准布隆过滤器的拦截层?

能,但必须绕开 BITOP 和大 offset 写入,且不能依赖单个 SETBIT 命令做高并发写入。 否则延迟毛刺、误判率失控、Redis 阻塞都是大概率事件。

为什么直接用 SETBIT/GETBIT 实现布隆过滤器容易超时

Bitmap 在 Redis 里本质是 String,SETBIT key offset value 的底层行为是:先按 offset 算出要操作的字节位置,再分配/扩展 SDS 字节数组。当 offset 超过当前长度时,Redis 会一次性 calloc 扩容——比如从 1KB 扩到 1MB,这个过程是同步阻塞的。

常见踩坑点:

  • 用 offset = hash(key) % m 计算位下标,但没预估 m 大小,上线后第一次写就触发大扩容,单次命令耗时 >2s
  • 多个线程/协程并发调用 SETBIT 写同一个 key,Redis 内部对 String 的写操作加的是全局锁,QPS 上不去,P99 延迟飙升
  • 误以为 BITCOUNT 是 O(1),实际它要遍历整个底层字节数组,key 超过 1MB 后,一次统计可能耗时几十毫秒

怎样让 Bitmap 布隆过滤器真正低延迟

核心是把“位数组管理”从运行时移到初始化阶段,避免任何动态扩容和竞争。

Sentinal Redis
Sentinal Redis

监控Redis服务器健康状况、内存、性能及BullMQ队列。检查队列深度、失败任务,分析慢查询并诊断问题。

下载

实操建议:

  • 提前计算好最大元素数 n 和可接受误判率 p,套公式 m = -n * ln(p) / (ln(2)^2) 得到位数组总长度(单位:bit),再向上取整到字节对齐(如 m_bits = 10_000_000 → m_bytes = 1250000)
  • 用 SET key <binary_data></binary_data> 一次性写入全零字节数组,而不是靠 SETBIT 慢慢“点灯”。这样 key 从诞生起就是固定大小,后续所有 SETBIT 都只是改已有内存里的某一位
  • 哈希函数必须用无偏、分布均匀的,比如 MurmurHash3 或 xxHash;避免用 hash(key) % m 这种简单取模,它在 m 不是 2 的幂时会产生严重倾斜
  • 读写分离:写操作走 Lua 脚本批量执行多个 SETBIT(减少网络往返),读操作用 pipeline 批量 GETBIT,别单条发

为什么不要用 BITOP 做布隆过滤器合并

BITOP OR dest k1 k2 看似能合并多个过滤器,但它会阻塞 Redis 主线程,时间复杂度是 O(N),N 是参与运算的最大 key 长度。线上曾有团队用它做灰度开关合并,一个 5MB 的 Bitmap 合并耗时 800ms+,直接拖垮整实例。

更稳妥的做法:

  • 初始化阶段就确定好分片策略,比如按 ID 取模分到 16 个 key(bloom:users:0 ~ bloom:users:15),每个 key 独立维护自己的位数组
  • 查询时只查对应分片,不跨 key 合并
  • 如果真需要合并(例如离线重建),用客户端聚合:拉取所有分片的 GETRANGE 结果,在本地做位或,再 SET 回新 key

最易被忽略的一点:布隆过滤器的“不可删除”不是理论限制,而是工程约束。一旦你允许 DEL 或 RESET 某些 bit,就必须保证所有哈希路径上的位都被清零——而你永远无法确认某个 bit 是否被其他 key 共享。所以生产环境应默认禁止删除,靠定期全量重建来更新过滤器。

热门AI工具

更多
PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

相关专题

更多
golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

690

2025.09.05

golang map相关教程
golang map相关教程

本专题整合了golang map相关教程,阅读专题下面的文章了解更多详细内容。

343

2025.11.16

golang map原理
golang map原理

本专题整合了golang map相关内容,阅读专题下面的文章了解更多详细内容。

553

2025.11.17

java判断map相关教程
java判断map相关教程

本专题整合了java判断map相关教程,阅读专题下面的文章了解更多详细内容。

323

2025.11.27

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4849

2023.11.02

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4435

2023.11.14

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

8512

2024.04.02

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

663

2024.04.07

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

0

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn