讲师中心 微信公众号
AI工具推荐 视频效率加速

如何解决Redis主从模式下由于大Key引起的复制超时_拆分大Key或优化网络

梦敏小哥_9357

梦敏小哥_9357

发布时间:2026-06-29 07:05:00

|

775人浏览过

|

来源于php中文网

原创

主从复制超时主因是大Key单次传输卡死,非网络问题;hash或zset超几MB致序列化堵塞缓冲区,引发断连与重试循环,需渐进拆分并统一命名与封装。

如何解决redis主从模式下由于大key引起的复制超时_拆分大key或优化网络

主从复制超时根本不是网络问题,是大Key单次传输卡死流

Redis主从复制中看到Timeout waiting for bulk read或REPL_TIMEOUT,别急着查网卡、调TCP参数——90%以上是某个hash或zset超过几MB,主节点把它整个序列化后塞进一个REPLCONF包里发出去,直接堵死复制缓冲区。从节点等不到完整包就断连,重试又重传,形成恶性循环。

典型佐证:INFO replication里slave_repl_offset长期不动,而master_repl_offset持续上涨;同时net_output_bytes突增,但其他客户端请求延迟没明显变化。

  • client-output-buffer-limit slave默认是256mb 64mb 60,一个3MB的hash在高QPS下可能1秒内就打穿缓冲区上限
  • Redis 6.0+开启repl-diskless-sync yes只解决RDB传输阶段IO,不改变大Key在增量同步(PSYNC)中的单次传输行为
  • 用redis-cli --bigkeys能扫出大Key,但它不会告诉你这个Key正在让从节点掉线

拆分必须渐进式,不能DEL也不能HDEL原Key

直接DEL或HDEL大Key会触发主线程O(N)阻塞,且该删除命令本身又作为一条“巨量操作”同步到从节点,等于二次冲击。正确做法是在主节点上用游标分批读+写新结构,全程走AOF和复制流。

Redis Skill - 高性能缓存管理
Redis Skill - 高性能缓存管理

Redis 缓存和数据结构管理技能。通过自然语言操作 Redis,支持 String、Hash、List、Set、ZSet、Stream 等数据结构操作。当用户提到 Redis、缓存、消息队列、会话存储时使用此技能。

下载
  • 对hash:用HSCAN myhash 0 COUNT 100拉字段,写入myhash:shard_001等新key,再用HDEL myhash field1 field2...删原字段
  • 对set:用SSCAN myset 0 COUNT 500分片,写入myset:part1~myset:partN,最后用SREM myset member1 member2...清理
  • 脚本里必须加SLEEP 0.01(如用redis-cli --eval跑Lua),否则连续扫描会压垮主节点CPU
  • 所有操作必须在主节点执行——从节点只读,不参与任何拆分逻辑

切片命名和写封装不统一,上线即埋雷

拆完只是开始,后续增长会让某个分片再次变大。如果命名没带版本号、没统一路由逻辑,业务代码直接硬编码myhash:shard_001,下次扩容或修复就得改全量代码。

  • key命名强制带版本和分片标识,例如user:123:orders:v2:shard_001,避免v1/v2逻辑混用
  • 所有写操作必须走封装函数(如hash_sharded_set($key, $field, $value)),内部算shard_id并路由,禁止业务层自己拼key
  • 上线后盯住两个监控项:HLEN(字段数)和DEBUG OBJECT <key>返回的serializedlength(实际序列化后字节数),阈值建议设为HLEN > 600或serializedlength > 700000

监控只看replication lag,等于盲人摸象

只监控slave_repl_offset - master_repl_offset差值,会把网络抖动、从节点GC、甚至磁盘慢IO都当成大Key问题。真正要抓的是“滞后突增是否与某个大分片首次同步强相关”。

  • 用redis-cli -r 1 -i 1 info replication | grep lag每秒采样一次,观察lag是否在某个时间点阶梯式跳升
  • 配合redis-cli --bigkeys和MEMORY USAGE定期扫描,重点盯hash/zset类型,别只扫string
  • 大Key不一定实时影响复制——冷数据的大Key可能几个月都不触发同步,但一旦被更新,立刻引爆

最麻烦的不是发现大Key,而是它藏在低频写路径里:比如用户注销时批量清理订单历史,那个DEL user:123:orders命令在凌晨三点执行,没人盯着日志,但从节点已经断连三次了。

热门AI工具

更多
PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

相关专题

更多
常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4389

2023.11.02

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

3915

2023.11.14

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

7152

2024.04.02

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

643

2024.04.07

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

756

2024.04.07

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

6882

2024.04.07

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1160

2024.04.07

redis的8种数据类型有哪些
redis的8种数据类型有哪些

redis 提供 8 种数据类型:字符串(文本、数字、二进制)、哈希(键值对)、列表(有序集合)、集合(无序唯一元素)、有序集合(按分数排序)、地理空间(地理位置)、hyperloglog(估计大数据基数)和位图(位序列存储)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1056

2024.04.07

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

20

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn