Redis Pub/Sub无法缓冲积压消息,因其纯内存广播机制不重试、不排队,消息直接丢弃;应改用List+BRPOP实现带缓冲队列,并由业务明确管理消息生命周期。

Redis 的发布订阅(Pub/Sub)本身不提供消息持久化和消费确认,当发布者持续高速发消息、而订阅者处理缓慢时,会直接丢消息——这不是配置能解决的问题,而是模型限制。
为什么 Redis Pub/Sub 无法缓冲积压消息
Redis 的 PUBSUB 机制是纯内存广播:消息一发布就遍历所有活跃订阅者连接,同步写入其 socket 发送缓冲区。如果某个订阅者网络卡顿、处理慢、甚至临时断开,Redis 不会重试,也不排队,直接丢弃该客户端未及时读走的消息。
常见错误现象包括:
- 订阅端日志里突然“跳过”几十条消息,且无任何错误提示
-
redis-cli --csv pubsub channels显示有订阅者,但pubsub numsub返回的计数与实际连接数不符(说明部分连接已异常断开但未及时清理) - 用
CLIENT LIST查看订阅连接,发现大量flags=N(非阻塞)或omem值持续偏高(内核发送缓冲区堆积)
用独立缓冲区队列替代原生 Pub/Sub 的关键改造点
核心思路是把 “发布 → Redis → 订阅者” 链路,拆成 “发布 → 缓冲队列 → 订阅者”,让 Redis 只做可靠存储,不参与实时分发。
推荐用 Redis List + LPUSH/BRPOP 组合实现带缓冲的队列:
- 发布者不再调用
PUBLISH,改用LPUSH my_queue "msg" - 每个订阅者启动一个消费者进程,循环执行
BRPOP my_queue 0(阻塞读,0 表示永不超时) - 消费成功后,自行决定是否需要 ACK(例如再写入一个
processed_idSet 防重) - 若需多消费者并行处理,可用
RPOPLPUSH+ pending list 模拟可重入队列(类似 Redis Streams 的GROUP语义)
注意:BRPOP 是阻塞命令,必须在单独连接中使用,不能和其他命令混用;否则会阻塞整个连接,导致心跳、监控等逻辑失效。
性能不对等场景下的缓冲区水位控制
缓冲队列不是越大越好。List 长度失控会导致内存暴涨、LLEN 变慢、RDB/AOF 体积激增。
建议在消费者端加入主动限流和告警:
- 每消费 N 条,执行一次
LLEN my_queue,若超过阈值(如 10000),记录 warn 日志并触发降级(如跳过非关键字段解析) - 用
LTRIM my_queue 0 5000手动截断(慎用,仅适用于允许丢老消息的场景) - 监控指标应包含:
redis_connected_clients、redis_blocked_clients、my_queue的LLEN值,三者联动判断是否出现消费瓶颈
不要依赖 CONFIG SET maxmemory-policy volatile-lru 来“自动清理”队列——List 不支持 TTL,该策略对 List 无效。
为什么不直接用 Redis Streams 替代
Redis Streams(XADD/XREADGROUP)确实原生支持消费者组、ACK、pending list,看起来更合适。但它在以下场景反而更难控:
- Streams 的
XDEL和XTRIM对性能影响显著,尤其在高吞吐下频繁 trim 会阻塞主线程 - 消费者组 offset 管理依赖
XACK,一旦忘记调用,pending list 持续增长,最终拖垮内存 - Streams 不支持通配符订阅(如
XREAD GROUP g1 c1 STREAMS * >),多 topic 场景需显式声明每个 stream,运维成本高
所以,简单场景优先用 List + BRPOP;复杂场景(需严格 at-least-once、多消费者协作)才上 Streams,并配套做好 offset 监控和 pending 清理脚本。
真正容易被忽略的不是“怎么加缓冲”,而是“谁来负责清空缓冲”——缓冲区从不自动释放,必须由业务逻辑明确界定消息生命周期,否则积压只会越来越重。



















