讲师中心 微信公众号
AI工具推荐 视频效率加速

Redis主从复制导致主库内存溢出_通过合理的过期策略清理冷数据减少同步压力

冬磊姑娘_8723

冬磊姑娘_8723

发布时间:2026-04-27 07:20:26

|

976人浏览过

|

来源于php中文网

原创

主库内存上涨与从库同步延迟增大通常源于复制积压缓冲区被撑满及冷数据未及时清理:① RDB生成致内存峰值翻倍;② 从库加载RDB时无法处理新命令;③ replica-serve-stale-data no导致读拒绝。

redis主从复制导致主库内存溢出_通过合理的过期策略清理冷数据减少同步压力

主库内存持续上涨,INFO replication 显示从库同步延迟增大

这通常不是单纯“写入太多”的问题,而是主库在向从库全量同步(SYNC 或 PSYNC)时,复制积压缓冲区(repl-backlog)被撑满,同时大量冷数据未过期,导致:
① 主库 RDB 生成时内存峰值翻倍;② 从库加载 RDB 阶段无法接收新命令,主库积压更多待同步命令;③ replica-serve-stale-data no 下从库拒绝读请求,业务误以为故障。

EXPIRE 和 EXPIREAT 不是万能的——冷数据得靠主动识别

Redis 不会自动标记“冷数据”,EXPIRE 必须由业务显式设置。常见误区是只在写入时加固定 TTL(比如一律 EXPIRE key 3600),但实际访问模式差异大:用户 session 可能 10 分钟就失效,而商品缓存可能需保留 2 小时但实际 20 分钟后就再没被读过。

  • 优先用 SCAN + OBJECT IDLETIME 批量识别长期未访问的 key(注意:仅限非 volatile key,且 IDLETIME 在集群模式下不可靠)
  • 对带业务语义的 key(如 user:123:token、cache:product:456),在写入时直接绑定动态 TTL:例如登录 token 过期时间 = 当前时间 + 用户活跃窗口,而非硬编码 3600
  • 避免在高并发写路径中调用 OBJECT IDLETIME,它会阻塞单线程,应放在低峰期定时任务里跑

复制积压缓冲区(repl-backlog)大小必须匹配冷数据清理节奏

如果每小时清理 5GB 冷数据,但 repl-backlog-size 只设了 100MB,主库一旦触发 PSYNC 失败降级为全量同步,就会反复重传这 5GB 中已过期却尚未被释放的 key —— 它们仍存在于 RDB 快照里,直到下次 SAVE 或 BGSAVE。

redis-tools
redis-tools

按类别查找Redis命令、检测服务器连接、监控键数量和内存占用,支持离线速查表。

下载
  • 用 CONFIG GET repl-backlog-size 查当前值,生产环境建议 ≥ 主库 10 分钟内写入的平均数据量(可从 INFO stats 的 total_commands_processed 和 key 平均大小估算)
  • 清理冷数据后,立刻执行 BGREWRITEAOF(如果启用了 AOF)或等待下一次 BGSAVE,确保过期 key 不再进入新 RDB
  • 禁用 activedefrag yes 在内存紧张时自动整理碎片——它会加剧主库 CPU 和内存压力,与同步冲突

从库不能只靠 slave-read-only yes 就高枕无忧

即使从库设为只读,主库仍在把所有写命令(包括 DEL、EXPIRE、UNLINK)发给它。如果主库批量清理冷数据用的是 DEL(阻塞式删除),从库在重放这些命令时也会卡住,进一步拉大延迟。

  • 主库清理冷数据务必用 UNLINK 替代 DEL,它把实际内存释放交给后台线程,不阻塞同步流
  • 检查从库日志是否频繁出现 Sync with master failed: Connection reset by peer —— 这往往是因为主库在 BGSAVE 期间 fork 失败(内存不足),而根本原因就是冷数据没及时释放
  • 监控项要补上:mem_allocator(确认是否 jemalloc)、evicted_keys(是否已触发 LRU 驱逐)、expired_keys(过期 key 实际清理速率)

真正难的不是加 EXPIRE,而是让过期时间和数据真实生命周期对齐;也不是调大 repl-backlog-size,而是确保这个缓冲区里塞进去的命令,不会反复搬运一批早就该消失的数据。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

相关专题

更多
常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4569

2023.11.02

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4115

2023.11.14

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

7692

2024.04.02

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

643

2024.04.07

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

756

2024.04.07

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

7642

2024.04.07

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1160

2024.04.07

redis的8种数据类型有哪些
redis的8种数据类型有哪些

redis 提供 8 种数据类型:字符串(文本、数字、二进制)、哈希(键值对)、列表(有序集合)、集合(无序唯一元素)、有序集合(按分数排序)、地理空间(地理位置)、hyperloglog(估计大数据基数)和位图(位序列存储)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1136

2024.04.07

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

0

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn