讲师中心 微信公众号
AI工具推荐 视频效率加速

Redis主从复制在海量数据下的问题_通过合理分片缓解单个实例复制负载

浅杰姑娘_9949

浅杰姑娘_9949

发布时间:2026-05-21 16:52:20

|

551人浏览过

|

来源于php中文网

原创

Redis主从复制卡顿延迟飙升的典型表现是master_repl_offset与slave_repl_offset差值持续扩大、sync_full_ok频发,根本原因是fork子进程阻塞主线程,尤其内存大时fork耗时长导致repl-backlog溢出。

redis主从复制在海量数据下的问题_通过合理分片缓解单个实例复制负载

主从复制卡顿、延迟飙升的典型表现

当 Redis 主实例写入 QPS 超过 2 万,或单个 key 的 value 超过 10 MB(比如大 JSON 或序列化对象),INFO replication 中的 master_repl_offset 和从库 slave_repl_offset 差值会持续扩大,redis-cli --stat 可见 sync_partial_ok 极少而 sync_full_ok 频发——这说明从库频繁断连重同步,全量复制反复触发。

根本原因不是带宽不足,而是主库 fork 子进程生成 RDB 时阻塞主线程,而 fork 耗时与主进程内存占用呈近似线性关系。实测 20 GB 内存实例 fork 耗时常超 800 ms,期间所有写命令排队等待,复制缓冲区(repl-backlog)极易溢出,强制从库降级为全量同步。

分片不是加节点,而是按写负载切主库

盲目增加从库数量只会加重主库复制压力:每个从库都需独立维护复制缓冲区、独立接收相同数据流。真正有效的分片是把写流量分散到多个主实例,让每个主库只承担部分数据集和写压力。

Redis Skill - 高性能缓存管理
Redis Skill - 高性能缓存管理

Redis 缓存和数据结构管理技能。通过自然语言操作 Redis,支持 String、Hash、List、Set、ZSet、Stream 等数据结构操作。当用户提到 Redis、缓存、消息队列、会话存储时使用此技能。

下载
  • 用 redis-shake 或 redis-port 按业务维度迁移数据(如用户 ID 取模、订单时间分段),避免哈希倾斜
  • 主库配置必须显式设置 repl-backlog-size ≥ 2 × 峰值写入量 × 预估网络抖动时长(例如:50 MB/s × 60 s = 3 GB → 设为 3gb)
  • 禁用 repl-diskless-sync yes:磁盘同步虽慢但稳定;无盘同步依赖子进程直接 socket 发送,大 RDB 下易因 TCP 缓冲区满而中断,反而触发更多全量同步

从库不等于只读备份,要参与写扩散链路

纯一主多从架构下,所有从库都从同一主库拉取数据,形成“扇出瓶颈”。可构建级联复制链:master → replica-A → replica-B,但必须满足两个前提:

  • 中间从库(replica-A)必须开启 replica-serve-stale-data no 和 replica-read-only yes,防止脏读或误写
  • 关键参数 repl-timeout 要逐级放大(主→A 设为 60,A→B 设为 90),否则下游超时断连会向上游传播,引发雪崩式重同步
  • 禁止跨级写扩散(如 master → B),Redis 不支持多源复制,SLAVEOF 切换后原复制关系立即清除,无平滑过渡

监控不能只看 connected_slaves

connected_slaves 为 3 只代表连接数正常,无法反映实际复制质量。真正要盯住的是:

  • master_last_io_seconds_ago:大于 10 秒即告警,说明主从间心跳或数据流异常
  • slave0:ip=...,port=...,state=online,offset=...,lag=12 中的 lag 值,持续 > 50 表示从库追不上
  • 用 redis-cli -h $host -p $port --rdb /dev/null 定期探测 RDB 生成是否卡死(超时即失败)

分片后各主库的复制状态必须独立监控,一个分片延迟不能靠其他分片“均摊”掩盖——延迟是局部问题,不是全局指标。

热门AI工具

更多
切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

相关专题

更多
常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4509

2023.11.02

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4055

2023.11.14

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

7512

2024.04.02

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

643

2024.04.07

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

756

2024.04.07

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

7402

2024.04.07

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1160

2024.04.07

redis的8种数据类型有哪些
redis的8种数据类型有哪些

redis 提供 8 种数据类型:字符串(文本、数字、二进制)、哈希(键值对)、列表(有序集合)、集合(无序唯一元素)、有序集合(按分数排序)、地理空间(地理位置)、hyperloglog(估计大数据基数)和位图(位序列存储)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1096

2024.04.07

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

40

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn