讲师中心 微信公众号
AI工具推荐 视频效率加速

Redis如何实现布隆过滤器_基于Bitmap结合多个哈希函数进行拦截

梦墨酱_5580

梦墨酱_5580

发布时间:2026-04-23 11:31:04

|

768人浏览过

|

来源于php中文网

原创

Redis 7.0 前无原生布隆过滤器,需依赖 redisbloom 模块或手动实现;云 Redis 通常未启用该模块,须先用 MODULE LIST 确认;手动实现依赖 SETBIT/GETBIT 与多哈希(推荐 fnv1a_64/murmur3),K 取 3–5,BIT_SIZE 需按预估总量与误判率反推,避免空间不足导致误判飙升。

redis如何实现布隆过滤器_基于bitmap结合多个哈希函数进行拦截

Redis里没有现成的BLOOM命令,得自己搭

Redis 7.0 之前压根不支持原生布隆过滤器,官方模块 redisbloom 是后来加的扩展,不是默认内置。如果你用的是云 Redis(比如阿里云、腾讯云),大概率默认没开这个模块,连 BF.ADD 都会报 unknown command。别急着写业务逻辑,先确认模块是否加载:

  • 连上 Redis 执行 MODULE LIST,看输出里有没有 name:bf
  • 没有的话,要么换用支持 RedisBloom 的服务,要么退回到 Bitmap + 多哈希的手动实现
  • 注意:手动实现没法动态扩容,误判率得在编码时就定死,改不了

手写布隆过滤器:用SETBIT + 多个哈希函数模拟

核心思路是把一个 key 映射成 k 个 bitmap 位置,全部置 1;查的时候,k 个位置全为 1 才认为“可能存在”。关键不在哈希有多强,而在分散性——推荐用 fnv1a_64 或 murmur3 这类快且均匀的哈希,别用 MD5 或 SHA1,太重还容易碰撞。

redis-tools
redis-tools

按类别查找Redis命令、检测服务器连接、监控键数量和内存占用,支持离线速查表。

下载
  • 哈希后对 bitmap 总长度取模,比如 len = 1000000,那就 hash % len
  • 用 SETBIT key offset 1 设置位,用 GETBIT key offset 检查位
  • 建议固定用 3–5 个哈希函数,太少误判高,太多写压力大,且 Redis 单次命令不能批量读多个 bit
  • 示例片段(Python):
    offsets = [hash_func(key, i) % BIT_SIZE for i in range(K)]<br>pipe = redis.pipeline()<br>for offset in offsets:<br>  pipe.setbit(KEY, offset, 1)<br>pipe.execute()

GETBIT 批量检查必须串行,性能比想象中差

Redis 没有类似 MGETBIT 的命令,查 k 个 bit 得发 k 次 GETBIT,哪怕走 pipeline,网络往返和 Redis 解析开销也明显。实测在 10k QPS 场景下,5 个哈希 → 5 次 GETBIT 容易打满 Redis 连接数或延迟飙升。

  • 如果业务允许少量漏判(即该拦没拦),可降为 3 个哈希,减少 40% 查询压力
  • 更稳的做法是:把 bitmap 存成一个 GET 能拿下的紧凑字符串(比如 base64 编码的 bytes),客户端自己解出所有 bit —— 但要求 bitmap 不太大(建议 ≤ 1MB),否则拖慢主从同步
  • 千万别在 Lua 脚本里循环调 redis.call('GETBIT', ...),Lua 是单线程阻塞的,一个慢请求卡住整个实例

误判率控制不住?问题大概率出在BIT_SIZE和K没配平

理论误判率 ≈ (1 − e−k·n/m)k,其中 n 是已插入元素数,m 是总 bit 数,k 是哈希个数。很多人只调 k,忽略 m —— 实际上线前必须按预估总量反推 m。

  • 例如:预计存 100 万 item,接受 1% 误判 → 查表或算得 m ≈ 9.6M bit(约 1.2MB),k = 7
  • 如果硬用 1M bit 存 100 万,哪怕 k=10,误判率也会飙到 30%+,不是哈希不行,是空间不够
  • bitmap 太大会让 SETBIT 命令变慢(Redis 要 realloc 内存),建议单个 key 控制在 4MB 以内
  • 线上务必监控 INFO memory 中的 used_memory_dataset,防止 bitmap 膨胀吃光内存
布隆过滤器在 Redis 里从来不是“开箱即用”的功能,从模块支持、哈希选型、批量查询瓶颈到容量预估,每一步都得对着真实流量和数据规模掰扯。最常被跳过的,是上线前用生产数据做一次误判率压测——模拟插入再随机查,别信理论公式。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

相关专题

更多
golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

630

2025.09.05

golang map相关教程
golang map相关教程

本专题整合了golang map相关教程,阅读专题下面的文章了解更多详细内容。

343

2025.11.16

golang map原理
golang map原理

本专题整合了golang map相关内容,阅读专题下面的文章了解更多详细内容。

533

2025.11.17

java判断map相关教程
java判断map相关教程

本专题整合了java判断map相关教程,阅读专题下面的文章了解更多详细内容。

303

2025.11.27

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4689

2023.11.02

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4235

2023.11.14

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

7992

2024.04.02

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

663

2024.04.07

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

20

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn