讲师中心 微信公众号
AI工具推荐 视频效率加速

Redis主从复制中大key导致同步断开_利用内存分析工具拆分大key减少传输压力

浅枫小哥_2422

浅枫小哥_2422

发布时间:2026-04-08 02:25:32

|

645人浏览过

|

来源于php中文网

原创

大key在Redis主从同步中会触发复制断连,表现为从库state由online突变为offline、日志反复出现Connection with master lost和Resyncing from master,根源是RDB/AOF传输超时或内存溢出。

redis主从复制中大key导致同步断开_利用内存分析工具拆分大key减少传输压力

大key在Redis主从同步中会触发什么错误

主从复制断开时如果看到 READONLY You can't write against a read only replica 以外的报错,大概率不是权限问题,而是从库在接收 RDB 或 AOF 流时超时或内存溢出。典型现象是:主库 INFO replication 显示 slave0:ip=..., state=online 突然变成 state=offline;从库日志里反复出现 Connection with master lost,紧接着 Resyncing from master —— 这说明复制链路被强制重连,而重连失败或频繁重试往往源于单次传输数据过大。

用redis-rdb-tools快速定位大key

redis-rdb-tools 是目前最轻量、最准的离线RDB分析工具,不依赖Redis运行时,直接解析RDB文件即可统计key大小(含value序列化后长度)。注意它统计的是「序列化后体积」,比 MEMORY USAGE 更贴近网络传输实际开销:

  • 先用 redis-cli --rdb /tmp/dump.rdb 从主库生成当前RDB(确保停写或使用 SAVE 同步阻塞方式)
  • 运行 rdb -c memory /tmp/dump.rdb > memory.csv,输出按内存占用降序排列的key列表
  • 重点关注 type=list / type=hash / type=zset 中 size > 1MB 的条目——这类结构体在网络传输阶段会被整体打包发送,无法流式分片

拆分大key必须避开的三个操作陷阱

很多人想当然地用 HSCAN + HDEL 或 LRANGE + LTRIM 拆分,结果反而加剧主从压力。真正安全的拆分必须满足:不产生长耗时命令、不阻塞主线程、不制造大量AOF写入:

  • 避免在主库上直接 HGETALL 大 hash —— 单次返回几十MB会打满客户端缓冲区,触发 client-output-buffer-limit 断连
  • 禁止用 RENAME 或 MOVE 操作大key —— 这些是原子命令但底层仍需完整拷贝内存,等效于一次大写入
  • 不要依赖 SCAN 配合 DEL 清理旧key —— 若拆分逻辑未同步到从库,会导致主从数据不一致,且 DEL 本身会写AOF并广播给从库

正确做法是:用 HSCAN 分批读,构造新key名(如 user:1001:profile:part1),用 HSET 写入,最后用 DEL 删除原key —— 且所有写操作必须走 pipeline 批量提交,减少网络往返和AOF刷盘频次。

从库同步阶段仍卡顿?检查 repl-backlog-size 和 client-output-buffer-limit

即使拆分了大key,若从库网络延迟高或重连频繁,仍可能因复制积压缓冲区(repl-backlog)不足导致全量重同步。这时 repl-backlog-size 设置过小(默认1MB)会让主库丢弃部分复制偏移,从库只能请求全量RDB —— 而RDB里若还残留未清理完的大key,就又回到原点。

  • 通过 CONFIG GET repl-backlog-size 查看当前值,建议设为最大预期增量数据的2倍(例如业务峰值每秒写入5MB,则设为10MB)
  • 检查从库的 client-output-buffer-limit slave,默认是 256mb 64mb 60,即缓冲区达256MB或60秒内未消费满64MB就断连;大key传输期间极易触达该阈值,应临时调高(如 1024mb 128mb 120)
  • 这两个配置修改后需 CONFIG REWRITE 持久化,且必须主从分别设置 —— 从库的 client-output-buffer-limit 是独立生效的

拆分大key只是起点,真正的稳定取决于对复制缓冲机制的理解深度。很多团队花几天拆完了key,却卡在重连后瞬间断开,往往就是漏看了 repl-backlog 这个静默杀手。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

4854

2025.06.09

golang结构体方法
golang结构体方法

本专题整合了golang结构体相关内容,请阅读专题下面的文章了解更多。

5011

2025.07.04

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4318

2023.08.10

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4609

2023.11.02

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4175

2023.11.14

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

7812

2024.04.02

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

643

2024.04.07

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

756

2024.04.07

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

20

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn