讲师中心 微信公众号
AI工具推荐 视频效率加速

为什么Redis 5.0的Stream类型需要特殊的淘汰管理_使用XADD的MAXLEN限制

浅静大大_4406

浅静大大_4406

发布时间:2026-05-29 08:06:18

|

908人浏览过

|

来源于php中文网

原创

Redis Stream完全无视maxmemory-policy,因其被设计为“只追加日志”结构,所有entry可能被多个消费者组的PEL引用,淘汰会导致状态错乱;其Rax+listpack存储不支持LRU/LFU标记,实测evicted_keys恒为0。

为什么redis 5.0的stream类型需要特殊的淘汰管理_使用xadd的maxlen限制

Redis Stream 为什么完全无视 maxmemory-policy

因为 Redis 内部压根没给 Stream 实现淘汰逻辑——这不是遗漏,是明确设计。Stream 被当作“只追加日志”结构处理,所有 entry 都可能被多个消费者组引用(PEL 队列里还挂着未 ACK 的消息),如果后台按 LRU/LFU 淘汰某条 entry,会导致消费者组状态错乱、消息丢失或重复投递。

实测中,哪怕你把 maxmemory-policy 设成 allkeys-lfu 并触发内存上限,INFO memory 里的 evicted_keys 始终为 0,而 mem_clients_normal 持续上涨。Stream 的 Rax + listpack 存储方式也不支持传统淘汰标记机制。

XADD MAXLEN 是唯一实时限长手段

Stream 不吃 LTRIM 那套,XTRIM 也不是实时控制开关,只有 XADD 命令内嵌的 MAXLEN 参数能真正实现“写入即裁剪”的原子性。

Redis Skill - 高性能缓存管理
Redis Skill - 高性能缓存管理

Redis 缓存和数据结构管理技能。通过自然语言操作 Redis,支持 String、Hash、List、Set、ZSet、Stream 等数据结构操作。当用户提到 Redis、缓存、消息队列、会话存储时使用此技能。

下载
  • XADD mystream MAXLEN 1000 * field value:严格保留最多 1000 条,超出部分在本次写入时直接丢弃最老端数据
  • XADD mystream MAXLEN ~ 1000 * field value:允许保留 1000 或 1001 条,减少内部压缩开销,不保证精确
  • MAXLEN 必须紧跟在 stream key 名之后、ID 和字段之前;放错位置(比如写在 * 后面)会直接报 ERR Syntax error
  • 它只对本次 XADD 生效,不会回溯清理已有数据——如果 stream 已有 2000 条,再执行 MAXLEN 1000,不会删掉 1000 条,只在下一次写入时开始截断

为什么不能靠 XTRIM 补救式限长

XTRIM 是独立命令,非原子、无触发机制、不嵌入写入流程,用它做“实时限长”等于裸奔。

  • XTRIM mystream MAXLEN 1000 只执行一次,不会自动重复;要靠定时任务轮询,中间存在明显窗口期
  • 若生产者狂发 XADD(没带 MAXLEN),两秒内可能积压数万条,XTRIM 还没跑完,内存已爆
  • 多个客户端并发写入时,XTRIM 和 XADD 之间存在竞态:A 写入后 B 立刻 XTRIM,但 C 在 B 执行前又写了一条,这条就逃逸了裁剪
  • XDEL 更不可取——它只是逻辑标记删除,Rax 树节点不真正释放,频繁 XDEL 反而加剧内存碎片和占用

容易被忽略的内存与行为细节

Stream 单条消息的内存开销远高于 List 元素:每个 entry 包含完整 ID(时间戳+序列号)、字段名、字段值、编码头等,且底层用 Rax 树索引,结构更重。

  • 启用 MAXLEN 会让单次 XADD 耗时略增(要同步做裁剪),但这是必要代价——避免后续 XREAD 扫描卡顿、OOM 崩溃
  • 消费者组未及时 XACK,会导致 PEL(Pending Entries List)持续堆积,这部分数据 MAXLEN 完全不碰——它们算“已分发但未确认”,仍需保留
  • 如果你依赖消费组做可靠投递,MAXLEN 控制的只是“未被任何组读取过的消息”长度,PEL 里的消息得靠业务层监控和超时清理

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

相关专题

更多
常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4549

2023.11.02

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4095

2023.11.14

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

7612

2024.04.02

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

643

2024.04.07

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

756

2024.04.07

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

7542

2024.04.07

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1160

2024.04.07

redis的8种数据类型有哪些
redis的8种数据类型有哪些

redis 提供 8 种数据类型:字符串(文本、数字、二进制)、哈希(键值对)、列表(有序集合)、集合(无序唯一元素)、有序集合(按分数排序)、地理空间(地理位置)、hyperloglog(估计大数据基数)和位图(位序列存储)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1136

2024.04.07

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

100

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn