讲师中心 微信公众号
AI工具推荐 视频效率加速

Redis如何提升海量小数据的批量写入性能_将多次SET合并为MSET减少网络系统调用

秋雪酱_9695

秋雪酱_9695

发布时间:2026-06-13 08:32:25

|

164人浏览过

|

来源于php中文网

原创

单次SET在海量小数据场景下性能差,因每次需独立网络往返、命令解析和内存写入;MSET不能完全替代SET,受限于同实例、无单独过期时间、参数量限制;生产环境应采用按槽分组+PIPELINE的批量写法。

redis如何提升海量小数据的批量写入性能_将多次set合并为mset减少网络系统调用

为什么单次SET在海量小数据场景下会拖慢性能

每次 SET 都是一次独立的网络往返(RTT)+ 服务端一次命令解析 + 一次内存写入。当你要写入 10 万条 key-value(比如用户 session token),用循环发 10 万次 SET,光网络开销就可能吃掉几秒——尤其客户端和服务端不在同一机房时。

Redis 本身处理单条 SET 极快(微秒级),瓶颈几乎全在 TCP 往返和客户端驱动开销上。这时候合并不是“优化”,而是必要操作。

MSET 真的能直接替代所有 SET 场景吗

不能。关键限制有三个:

  • MSET 要求所有 key 必须属于同一个 Redis 实例(不支持跨 slot,集群模式下若 key 不在同个哈希槽会报 CROSSSLOT Keys in request don't hash to the same slot)
  • MSET 是原子的,但不支持为每个 key 单独设过期时间(MSETEX 不存在;得用 PIPELINE + 多条 SETEX)
  • 单次 MSET 参数过多(比如超 5000 对)可能触发客户端缓冲区溢出或服务端 proto-max-bulk-len 限制(默认 512MB,但实际建议单次不超过 1000 对)

更稳的批量写法:PIPELINE + 多个 MSET 分组

纯 MSET 简单,但面对 10 万 key 时,分组 + 管道才是生产可用方案。核心思路是:按哈希槽预分组 → 每组内用 MSET → 所有组通过一个 PIPELINE 发送。

Redis Skill - 高性能缓存管理
Redis Skill - 高性能缓存管理

Redis 缓存和数据结构管理技能。通过自然语言操作 Redis,支持 String、Hash、List、Set、ZSet、Stream 等数据结构操作。当用户提到 Redis、缓存、消息队列、会话存储时使用此技能。

下载

示例(Python redis-py):

pipe = redis_client.pipeline()
for chunk in chunked_keys_values:  # 每 chunk ~500 对
    pipe.mset(chunk)
pipe.execute()  # 一次往返完成全部

注意:pipeline() 默认是无事务的(只保证顺序执行),如果中间某条 MSET 报错(如 key 名非法),其余仍会执行。需要强一致性时得加 transaction=True,但会略微降速。

集群环境下绕过 CROSSSLOT 的实际做法

Redis Cluster 不允许单命令含跨槽 key,所以不能把所有 key 塞进一个 MSET。正确做法是:

  • 用 redis_client.key_slot(key)(或手动 CRC16 % 16384)算出每个 key 所属槽位
  • 按槽号分组,每组构造独立 MSET
  • 对每个槽组,获取对应节点连接(redis_client.nodes_manager.get_node_from_slot(slot)),再分别 pipeline 提交
  • 或者更简单:改用 redis-py-cluster,它内部已自动做槽路由,你只需调 client.mset(...),它会拆分并并发提交到各节点

别硬扛 CROSSSLOT 错误——这不是配置问题,是架构约束,绕不过就得分治。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

相关专题

更多
常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4309

2023.11.02

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

3815

2023.11.14

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

6932

2024.04.02

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

623

2024.04.07

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

736

2024.04.07

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

6582

2024.04.07

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1140

2024.04.07

redis的8种数据类型有哪些
redis的8种数据类型有哪些

redis 提供 8 种数据类型:字符串(文本、数字、二进制)、哈希(键值对)、列表(有序集合)、集合(无序唯一元素)、有序集合(按分数排序)、地理空间(地理位置)、hyperloglog(估计大数据基数)和位图(位序列存储)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1016

2024.04.07

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

100

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn