讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在Spring Boot中处理Redis的BigKey问题_通过Scan命令替代Keys命令进行模糊查询

大晨姑娘_4373

大晨姑娘_4373

发布时间:2026-06-09 07:52:36

|

318人浏览过

|

来源于php中文网

原创

SCAN是唯一安全、可上线的替代方案,但必须配合游标重试、结果去重、分批处理三要素,否则照样卡顿甚至丢数据;KEYS因O(N)全量阻塞扫描,在50万+ key时可致200ms以上主线程停摆,引发雪崩,官方明确禁用生产环境。

如何在spring boot中处理redis的bigkey问题_通过scan命令替代keys命令进行模糊查询

直接说结论:SCAN 是唯一安全、可上线的替代方案,但必须配合游标重试、结果去重、分批处理三要素,否则照样卡顿甚至丢数据。

为什么 keys("*user:*") 在线上等于埋雷

Redis 单线程模型下,KEYS 命令会遍历整个键空间,时间复杂度 O(N)。当 DB 中有 50 万+ key 时,一次 KEYS *user:* 可能阻塞主线程 200ms 以上,期间所有读写请求排队等待——这不是慢,是“雪崩前兆”。官方文档明确标注 KEYS 仅限调试环境使用,生产环境禁用。

常见错误现象包括:

  • Redis 响应延迟突增至 1s+,监控看到 latency 指标尖刺
  • Spring Boot 应用大量 RedisConnectionFailureException 或超时熔断
  • 集群中某节点 CPU 100%,其他节点负载不均(因 SCAN 不跨 slot,而 KEYS 会触发全量扫描)

ScanOptions.match() 的坑:通配符和大小写敏感性

ScanOptions.scanOptions().match("user:*") 看似简单,但实际匹配行为受 Redis 版本和编码影响:

Redis Skill - 高性能缓存管理
Redis Skill - 高性能缓存管理

Redis 缓存和数据结构管理技能。通过自然语言操作 Redis,支持 String、Hash、List、Set、ZSet、Stream 等数据结构操作。当用户提到 Redis、缓存、消息队列、会话存储时使用此技能。

下载
  • 通配符只支持 *(任意字符)、?(单字符)、[abc](字符类),不支持正则
  • 匹配区分大小写:"User:*" 和 "user:*" 是两个不同 pattern
  • 如果 key 是通过 StringRedisTemplate 存入(默认 UTF-8 序列化),但部分服务用 JdkSerializationRedisTemplate 写入二进制 key,则 SCAN 无法匹配——因为字节内容不一致
  • 集群环境下,MATCH 只在当前 slot 执行,不会跨 slot 聚合结果,所以不能假设“扫完一次就全了”

Spring Data Redis 中 Cursor.next() 报 NoSuchElementException 怎么办

这是 Spring Data Redis 早期版本(1.6.x 之前)的经典 bug:游标已到末尾,但 cursor.hasNext() 返回 true,紧接着调 cursor.next() 就抛 NoSuchElementException。

实操建议:

  • 升级到 spring-data-redis >= 2.1.0(对应 Spring Boot 2.1+),该问题已在 ScanCursor 中修复
  • 若无法升级,改用 try-catch 包裹 cursor.next(),捕获 NoSuchElementException 后主动 break
  • 永远检查游标返回值:if (cursor.getCursor().equals("0")) 才算真正结束,不能只依赖 hasNext()
  • 别用 COUNT Integer.MAX_VALUE——这会让 SCAN 退化成 KEYS,失去渐进式优势

BigKey 场景下 Scan 必须加限流和分页包装

即使用了 SCAN,面对百万级匹配 key,一次性拉取仍可能 OOM 或拖垮网络。真实生产环境必须做两层隔离:

  • 外层按业务维度切分:比如按日期前缀 user:202605:* 缩小扫描范围
  • 内层用 COUNT 100 控制单次扫描量,并在每次迭代后 Thread.sleep(5)(非必须,但对高负载集群很友好)
  • 结果必须用 Set<string></string> 去重——SCAN 允许重复返回同一 key(尤其在 rehash 期间)
  • 删除操作禁止直接 redisTemplate.delete(matchedKeys),应拆成每批 ≤ 1000 个 key 异步批量删,避免命令队列积压

最易被忽略的一点:SCAN 不保证原子性,过程中 key 可能被新增或删除。如果你需要强一致性快照,就得接受“最终一致性”——要么加分布式锁临时冻结写入,要么接受漏扫/多扫,没有银弹。

热门AI工具

更多
讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
spring框架介绍
spring框架介绍

本专题整合了spring框架相关内容,想了解更多详细内容,请阅读专题下面的文章。

2391

2025.08.06

Java Spring Security 与认证授权
Java Spring Security 与认证授权

本专题系统讲解 Java Spring Security 框架在认证与授权中的应用,涵盖用户身份验证、权限控制、JWT与OAuth2实现、跨站请求伪造(CSRF)防护、会话管理与安全漏洞防范。通过实际项目案例,帮助学习者掌握如何 使用 Spring Security 实现高安全性认证与授权机制,提升 Web 应用的安全性与用户数据保护。

437

2026.01.26

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4329

2023.11.02

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

3835

2023.11.14

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

6972

2024.04.02

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

623

2024.04.07

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

736

2024.04.07

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

6642

2024.04.07

FrankenPHP集成Laravel详细教程
FrankenPHP集成Laravel详细教程

本专题提供FrankenPHP集成Laravel的详细配置指南,全面解析运行原理、开发环境搭建、Caddyfile配置、Octane工作模式、数据库连接、队列任务、定时任务和生产环境优化,解决部署过程中常见的报错与兼容性问题。

0

2026.10.08

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn