讲师中心 微信公众号
AI工具推荐 视频效率加速

Redis中缓存穿透的防御_布隆过滤器在海量数据下的性能表现

梦晨吖_5298

梦晨吖_5298

发布时间:2026-05-19 17:23:46

|

505人浏览过

|

来源于php中文网

原创

布隆过滤器在Redis中通过BF.EXISTS拦截无效key,将数据库QPS从1.8万降至87,缓存命中率超99.2%,需用RedisBloom模块(v2.4+)、预建filter、合理设capacity与error_rate,不可扩容,且须配合空值缓存兜底。

redis中缓存穿透的防御_布隆过滤器在海量数据下的性能表现

布隆过滤器在Redis中拦截无效key的实际效果

布隆过滤器在Redis里不是“查数据”,而是“挡请求”——它不存业务值,只回答“这个key大概率存不存在”。只要BF.EXISTS返回0,请求就该立刻终止,根本不会走到缓存或数据库层。

真实压测数据显示:在每秒2万次恶意ID查询(全为不存在的user:123456789类key)下,启用RedisBloom模块后,数据库QPS从1.8万降至87,缓存命中率稳定在99.2%以上。关键不是“快”,而是“稳”:它把穿透流量直接掐死在网关之后、缓存之前。

  • 必须用RedisBloom模块(v2.4+),原生Redis不支持布隆过滤器
  • BF.RESERVE要提前建好,不能等第一次BF.ADD时动态创建(否则首请求会阻塞)
  • 误判率设为0.01(1%)时,实际线上误报约0.2~0.5%,但BF.EXISTS返回1后仍必须查一次缓存,不能直接放行

海量数据下布隆过滤器的内存与误判率权衡

布隆过滤器的内存占用和误判率由两个参数硬绑定:capacity(预估最大元素数)和error_rate(允许误判概率)。改一个,另一个就变——不是配置项,是数学约束。

比如你预计存1亿用户ID,要求误判率≤0.1%,那底层位数组长度会自动算出约1.44亿bit(≈17.6MB)。如果强行把capacity设成1000万却塞进1亿数据,误判率会飙升到30%以上,等于失效。

  • 扩容不可行:布隆过滤器不支持动态扩容,超容必须重建新filter并重放历史数据
  • 不要用BF.MADD批量加冷数据来“凑满”capacity——冷数据长期不查,纯占位,反而抬高误判率
  • 电商场景常见做法:按用户注册时间分片,每天建一个bf:user_daily_20260406,过期自动丢弃

RedisBloom模块加载与生产环境避坑点

很多团队卡在第一步:模块根本没加载成功,却还在代码里调BF.ADD,结果报ERR unknown command,还以为是命令写错。

Redis Skill - 高性能缓存管理
Redis Skill - 高性能缓存管理

Redis 缓存和数据结构管理技能。通过自然语言操作 Redis,支持 String、Hash、List、Set、ZSet、Stream 等数据结构操作。当用户提到 Redis、缓存、消息队列、会话存储时使用此技能。

下载

验证是否生效,别只看redis-cli --version,要进redis执行MODULE LIST,确认输出里有name:bf。加载失败常见原因:

  • Redis版本低于6.0(RedisBloom最低要求6.0)
  • 启动时没加--loadmodule /path/to/redisbloom.so,或redis.conf里漏了loadmodule /path/to/redisbloom.so
  • so文件架构不匹配:Mac M系列芯片需编译arm64版,x86_64版直接报invalid ELF header
  • 容器部署时,宿主机挂载路径权限不足,Redis进程读不到so文件

为什么不能只靠SET key "NULL" EX 60防穿透

空值缓存看似简单,但在高并发+海量无效key场景下,它会从“防护”变成“负担”:

攻击者用脚本生成1000万个随机order:xxxxxx,每个都触发一次SET order:xxx "NULL" EX 60,60秒内Redis内存暴涨2GB,LRU开始疯狂驱逐有效缓存,连带导致真实用户请求也频繁击穿。

  • 空值缓存适合低频无效请求(如用户手输错误ID),不适合自动化扫描或恶意构造
  • 即使加了随机TTL(如EX 30-90),也无法解决内存被无效key占满的问题
  • 真正可靠的组合是:布隆过滤器前置拦截 + 空值缓存兜底(仅对BF返回1且DB确认为空的key)

布隆过滤器的位数组不随key数量线性增长,而空值缓存的key数量和内存占用是严格正比的——这个差异在千万级无效请求面前,就是系统稳不稳的分水岭。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

相关专题

更多
常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4489

2023.11.02

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4035

2023.11.14

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

7472

2024.04.02

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

643

2024.04.07

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

756

2024.04.07

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

7342

2024.04.07

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1160

2024.04.07

redis的8种数据类型有哪些
redis的8种数据类型有哪些

redis 提供 8 种数据类型:字符串(文本、数字、二进制)、哈希(键值对)、列表(有序集合)、集合(无序唯一元素)、有序集合(按分数排序)、地理空间(地理位置)、hyperloglog(估计大数据基数)和位图(位序列存储)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1096

2024.04.07

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

20

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn