讲师中心 微信公众号

工具推荐

视频效率加速
updream

一键生成高质量推广成片

AniShort
AniShort

AI短剧协同制作平台

Laper
Laper

剧本策划到成片协作

剧云
剧云

中文短剧剧本制作平台

如何通过Redis集群分片策略消除热点读写倾斜

胖枫同学_4558

胖枫同学_4558

发布时间:2026-11-16 06:14:03

|

100人浏览过

|

来源于php中文网

原创

因为hotkey始终映射到同一哈希槽和节点,单节点承受全部请求,在单线程模型下导致CPU、网络、内存资源耗尽,引发延迟飙升甚至进程被OOM killer终止。

如何通过redis集群分片策略消除热点读写倾斜

为什么直接用 GET hotkey 会压垮一个节点

Redis Cluster 默认用 CRC16(key) % 16384 算出 slot,再映射到具体实例。如果业务中反复读写同一个 key(比如 stock:1001),它永远落在同一个 slot、同一个实例上。哪怕集群有 6 个节点,99% 的请求也只打向其中 1 个——这不是负载均衡,是“负载集中”。单线程模型下,CPU、网络连接、内存带宽全被吃满,响应延迟飙升,甚至触发 OOM killer 杀进程。

hash tag 不是万能解,反而可能加剧倾斜

很多人看到文档里说“用 {user123} 包裹 key 就能强制同 slot”,就盲目套用。但问题在于:{user123}:order:20261019 和 {user123}:profile 是同 slot,可如果 user123 是超级用户,所有关联 key 都挤进同一实例,照样形成新热点。更糟的是,hash tag 本质是放弃分片自由度,把多个逻辑 key 锁死在物理节点上,等于主动制造数据量倾斜。

  • 仅在「强一致性要求 + 访问必然聚合」场景下才考虑,比如分布式锁的多个子 key 必须原子操作
  • 绝对不要对高频读写的业务 key(如商品库存、用户计数)加 {}
  • 用 CLUSTER KEYSLOT "key" 手动验证 tag 后的 slot 分布,避免误判

真正有效的 key 打散:按访问维度做随机分片

核心思路是把一个逻辑 key 拆成 N 个物理 key,让它们自然落到不同 slot 上。关键不是“均匀”,而是“不可预测性”——防止客户端缓存或重试逻辑无意中又把流量导回同一份 shard。

股票市场热点解读
股票市场热点解读

【股票市场热点解读技能】基于 MCP 聚源金融数据库进行 A 股市场热点识别、深度解读和投资机会分析。覆盖热点识别与聚合、深度解读分析、产业链映射、资金面追踪、情绪面分析、操作建议生成、风险预警七大核心模块。适用于快速理解市场热点本质、分析板块投资机会。问题示例:本周市场热点分析、AI 板块投资机会、市场主线是什么、资金流向追踪

下载
  • 写入时用 user_id 或 request_id 做哈希后取模:f"stock:{item_id}:shard{hashlib.md5(user_id.encode()).hexdigest()[-2:]}"
  • 读取时必须走同样哈希逻辑,不能靠客户端缓存原始 key,否则打散失效
  • 过期时间要加随机偏移(比如 ±3 秒),避免所有 shard 同时失效引发雪崩
  • 注意:打散后无法原子操作全部 shard,需在应用层做聚合(如累加 N 个 INCRBY 结果)

Slot 分配不均必须人工干预,别信“自动均衡”

Redis Cluster 不会自动 rebalance slot,运维手动分配时若给某节点多划了 3000 个 slot,它就会比其他节点多存近一倍数据。即使没热点 key,纯数据量倾斜也会导致内存告警、RDB 备份慢、AOF rewrite 卡顿。

  • 用 CLUSTER SLOTS 查各节点 slot 范围,再用 CLUSTER COUNTKEYSINSLOT <slot_id></slot_id> 抽样统计 key 数量
  • 迁移前先在目标节点执行 CLUSTER SETSLOT <slot_id> IMPORTING <source_node_id></source_node_id></slot_id>
  • 源节点执行 CLUSTER SETSLOT <slot_id> MIGRATING <target_node_id></target_node_id></slot_id>
  • 用 CLUSTER GETKEYSINSLOT 分批获取 key,再用 MIGRATE 迁移(加 KEYS 参数可一次传多个)

打散 key 和调平 slot 是两件事:前者治“热”,后者治“重”。漏掉任何一项,都可能在大促峰值时发现某个节点 CPU 100% 却查不出原因——因为监控只显示“QPS 正常”,没人盯着单节点内存和 slot 分布。

热门AI工具

更多
PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

超级麦吉

一款通过数字员工协作完成调研、数据分析与文档制作的AI办公平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

相关专题

更多
常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4989

2023.11.02

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4575

2023.11.14

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

8912

2024.04.02

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

683

2024.04.07

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

776

2024.04.07

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

9322

2024.04.07

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1200

2024.04.07

redis的8种数据类型有哪些
redis的8种数据类型有哪些

redis 提供 8 种数据类型:字符串(文本、数字、二进制)、哈希(键值对)、列表(有序集合)、集合(无序唯一元素)、有序集合(按分数排序)、地理空间(地理位置)、hyperloglog(估计大数据基数)和位图(位序列存储)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1496

2024.04.07

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

100

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Go-Zero官方文档
Go-Zero官方文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn