讲师中心 微信公众号

工具推荐

视频效率加速
剧云
剧云

中文短剧剧本制作平台

Seko
Seko

AI短剧一键生成成片

AniShort
AniShort

AI短剧协同制作平台

updream

一键生成高质量推广成片

Redis发布订阅如何处理发布者与订阅者性能不对等_引入缓冲区队列实现异步解耦

大婷大大_3985

大婷大大_3985

发布时间:2026-05-25 19:42:25

|

252人浏览过

|

来源于php中文网

原创

Redis Pub/Sub无法缓冲积压消息,因其纯内存广播机制不重试、不排队,消息直接丢弃;应改用List+BRPOP实现带缓冲队列,并由业务明确管理消息生命周期。

redis发布订阅如何处理发布者与订阅者性能不对等_引入缓冲区队列实现异步解耦

Redis 的发布订阅(Pub/Sub)本身不提供消息持久化和消费确认,当发布者持续高速发消息、而订阅者处理缓慢时,会直接丢消息——这不是配置能解决的问题,而是模型限制。

为什么 Redis Pub/Sub 无法缓冲积压消息

Redis 的 PUBSUB 机制是纯内存广播:消息一发布就遍历所有活跃订阅者连接,同步写入其 socket 发送缓冲区。如果某个订阅者网络卡顿、处理慢、甚至临时断开,Redis 不会重试,也不排队,直接丢弃该客户端未及时读走的消息。

常见错误现象包括:

  • 订阅端日志里突然“跳过”几十条消息,且无任何错误提示
  • redis-cli --csv pubsub channels 显示有订阅者,但 pubsub numsub 返回的计数与实际连接数不符(说明部分连接已异常断开但未及时清理)
  • 用 CLIENT LIST 查看订阅连接,发现大量 flags=N(非阻塞)或 omem 值持续偏高(内核发送缓冲区堆积)

用独立缓冲区队列替代原生 Pub/Sub 的关键改造点

核心思路是把 “发布 → Redis → 订阅者” 链路,拆成 “发布 → 缓冲队列 → 订阅者”,让 Redis 只做可靠存储,不参与实时分发。

推荐用 Redis List + LPUSH/BRPOP 组合实现带缓冲的队列:

  • 发布者不再调用 PUBLISH,改用 LPUSH my_queue "msg"
  • 每个订阅者启动一个消费者进程,循环执行 BRPOP my_queue 0(阻塞读,0 表示永不超时)
  • 消费成功后,自行决定是否需要 ACK(例如再写入一个 processed_id Set 防重)
  • 若需多消费者并行处理,可用 RPOPLPUSH + pending list 模拟可重入队列(类似 Redis Streams 的 GROUP 语义)

注意:BRPOP 是阻塞命令,必须在单独连接中使用,不能和其他命令混用;否则会阻塞整个连接,导致心跳、监控等逻辑失效。

Sentinal Redis
Sentinal Redis

监控Redis服务器健康状况、内存、性能及BullMQ队列。检查队列深度、失败任务,分析慢查询并诊断问题。

下载

性能不对等场景下的缓冲区水位控制

缓冲队列不是越大越好。List 长度失控会导致内存暴涨、LLEN 变慢、RDB/AOF 体积激增。

建议在消费者端加入主动限流和告警:

  • 每消费 N 条,执行一次 LLEN my_queue,若超过阈值(如 10000),记录 warn 日志并触发降级(如跳过非关键字段解析)
  • 用 LTRIM my_queue 0 5000 手动截断(慎用,仅适用于允许丢老消息的场景)
  • 监控指标应包含:redis_connected_clients、redis_blocked_clients、my_queue 的 LLEN 值,三者联动判断是否出现消费瓶颈

不要依赖 CONFIG SET maxmemory-policy volatile-lru 来“自动清理”队列——List 不支持 TTL,该策略对 List 无效。

为什么不直接用 Redis Streams 替代

Redis Streams(XADD/XREADGROUP)确实原生支持消费者组、ACK、pending list,看起来更合适。但它在以下场景反而更难控:

  • Streams 的 XDEL 和 XTRIM 对性能影响显著,尤其在高吞吐下频繁 trim 会阻塞主线程
  • 消费者组 offset 管理依赖 XACK,一旦忘记调用,pending list 持续增长,最终拖垮内存
  • Streams 不支持通配符订阅(如 XREAD GROUP g1 c1 STREAMS * >),多 topic 场景需显式声明每个 stream,运维成本高

所以,简单场景优先用 List + BRPOP;复杂场景(需严格 at-least-once、多消费者协作)才上 Streams,并配套做好 offset 监控和 pending 清理脚本。

真正容易被忽略的不是“怎么加缓冲”,而是“谁来负责清空缓冲”——缓冲区从不自动释放,必须由业务逻辑明确界定消息生命周期,否则积压只会越来越重。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

函子Zion

一款支持AI搭建、可视化编辑和多端发布的全栈无代码开发平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

相关专题

更多
常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

5009

2023.11.02

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4595

2023.11.14

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

8972

2024.04.02

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

683

2024.04.07

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

776

2024.04.07

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

9382

2024.04.07

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1200

2024.04.07

redis的8种数据类型有哪些
redis的8种数据类型有哪些

redis 提供 8 种数据类型:字符串(文本、数字、二进制)、哈希(键值对)、列表(有序集合)、集合(无序唯一元素)、有序集合(按分数排序)、地理空间(地理位置)、hyperloglog(估计大数据基数)和位图(位序列存储)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1516

2024.04.07

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

140

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Go-Zero官方文档
Go-Zero官方文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn