讲师中心 微信公众号
AI工具推荐 视频效率加速

Redis怎样处理大Key对持久化的拖累_清理拆分巨型结构缩短bgsave时间

胖宇吖_9359

胖宇吖_9359

发布时间:2026-03-24 13:27:13

|

633人浏览过

|

来源于php中文网

原创

redis-cli --bigkeys 可快速定位拖慢 bgsave 的大Key,它按类型统计最大Key并显示 serializedlength;配合 MEMORY USAGE 验证实际内存占用,>1MB需警惕,>10MB基本确认为拖累源。

redis怎样处理大key对持久化的拖累_清理拆分巨型结构缩短bgsave时间

用 redis-cli --bigkeys 快速定位真正拖慢 bgsave 的大Key

大Key不光是“看起来大”,而是实际在持久化时让 bgsave fork 子进程卡住、写盘变慢的那些。最直接的判断方式,不是猜,是扫描——redis-cli --bigkeys 会按数据类型分组统计,告诉你哪个 hash 有 8 万字段、哪个 zset 有 20 万成员,这些才是 RDB 持久化的重灾区。

  • 它默认只扫每个类型里“最大”的那个 Key,想更全一点,加 -i 0.01 参数降低扫描频率,减少对线上影响
  • 别在高峰期跑,尤其不要在 AOF 重写或 bgsave 正在进行时执行,否则双重阻塞
  • 输出里的 serializedlength(来自 DEBUG OBJECT)比 STRLEN 或 HLEN 更准——它反映的是实际序列化后写入 RDB 的大小,含编码开销和元数据

拆分大Key必须避开 DEL 和全量 HGETALL 这类阻塞操作

发现一个 50MB 的 hash 后,直接 DEL 它?不行。Redis 主线程会卡死几十毫秒甚至上百毫秒,期间所有请求排队,QPS 断崖下跌。同理,HGETALL 拉全量再重写,网络+内存双压,极易触发 OOM。

  • 用 HSCAN 分批读:每次 HSCAN key cursor COUNT 100,游标推进,避免单次加载全部
  • 新 Key 命名带分片标识,比如 user:profile:12345:chunk:001,后续查的时候用 pipeline 并行取
  • 删除老 Key 用 UNLINK 替代 DEL:它把释放内存交给后台线程,主线程几乎不阻塞
  • 拆分过程务必放在业务低峰期,且监控 latency latest 和 info stats 中的 total_commands_processed 是否骤降

MEMORY USAGE 比想象中更关键:它决定 bgsave fork 的页表复制耗时

很多人以为大Key只是“写盘慢”,其实更致命的是 fork 阶段:Redis 创建子进程做 RDB 时,要复制父进程的页表。如果一个 Key 占用 64MB 内存,它可能分散在数百个内存页里,fork 就得拷贝这几百个页表项——哪怕 Key 本身没被修改,这个复制动作也卡主线程。而 MEMORY USAGE key 返回的字节数,就是内核实际分配给该 Key 的内存块大小,直接关联 fork 开销。

  • 对疑似大Key,先跑 MEMORY USAGE key,>1MB 就该警惕;>10MB 基本确认是 bgsave 拖累源
  • 配合 INFO memory 看 mem_fragmentation_ratio,如果 >1.5 且大Key集中,说明碎片加剧了 fork 成本
  • 别依赖 DEBUG OBJECT key 的 refcount 或 encoding 判断是否安全删——refcount=1 不代表没被其他命令引用中,encoding 只反映当前结构,不反映实际内存占用

AOF 策略选 everysec 不是万能解,大Key 写入仍会卡主线程

很多人改 AOF 为 appendfsync everysec 就以为高枕无忧,但忽略了一个关键点:Redis 主线程要把写命令先写进 AOF 缓冲区,这个动作是同步的。如果一条 HSET 往一个百万成员的 hash 里塞值,命令本身序列化就耗时,缓冲区写入阶段就会阻塞主线程——跟磁盘 fsync 无关。

  • 大Key 的写操作尽量避免高频变更,比如用定时聚合代替实时累加
  • 如果必须更新,优先走 HMSET 批量写,比 N 次 HSET 减少命令解析和缓冲区写入次数
  • 禁用 auto-aof-rewrite-percentage 的默认值(100%),设成 200% 或更高,避免大Key 导致 AOF 文件稍大就频繁触发重写,反复 fork
  • 重写期间,如果发现 bgrewriteaof_child_pid 长时间存在,用 INFO stats 查 latest_fork_usec,超 500ms 就说明页表复制已成瓶颈
大Key 对持久化的拖累,本质是内存布局 + fork 机制 + 单线程模型三者叠加的结果。清理和拆分不是“删掉再重建”那么简单,每一步都要绕开主线程阻塞点,而最常被跳过的,恰恰是 MEMORY USAGE 验证和 UNLINK 替代 DEL 这两个动作。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
数据类型有哪几种
数据类型有哪几种

数据类型有整型、浮点型、字符型、字符串型、布尔型、数组、结构体和枚举等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3411

2023.10.31

php数据类型
php数据类型

本专题整合了php数据类型相关内容,阅读专题下面的文章了解更多详细内容。

574

2025.10.31

c语言 数据类型
c语言 数据类型

本专题整合了c语言数据类型相关内容,阅读专题下面的文章了解更多详细内容。

582

2026.02.12

counta和count的区别
counta和count的区别

Count函数用于计算指定范围内数字的个数,而CountA函数用于计算指定范围内非空单元格的个数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3768

2023.11.20

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4718

2023.08.10

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4869

2023.11.02

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4435

2023.11.14

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

8552

2024.04.02

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

0

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn