讲师中心 微信公众号
AI工具推荐 视频效率加速

怎么解决Redis Bitmaps偏移量过大导致的内存暴涨_进行分段位图存储

冬婷大大_1829

冬婷大大_1829

发布时间:2026-06-20 07:06:36

|

324人浏览过

|

来源于php中文网

原创

SETBIT偏移量过大导致内存暴涨,因其按字节对齐整块分配,如设第100万bit即分配125KB并填充零字节;Bitmap底层为字符串,不支持稀疏结构,且分段需业务层路由与兜底处理。

怎么解决redis bitmaps偏移量过大导致的内存暴涨_进行分段位图存储

偏移量过大直接导致内存暴涨,不是因为Redis卡顿或配置不对,而是SETBIT按字节对齐整块分配——设第100万bit,它就给你分配125KB并填满零字节。

为什么SETBIT一设大offset就吃光内存

Redis的Bitmap底层是字符串(raw/embstr),不支持稀疏结构。你调用SETBIT user:active 1000000 1,它会计算所需字节数:1000000 ÷ 8 + 1 = 125001字节,并一次性malloc出来,中间全为0。哪怕你只设了3个bit,只要最大offset是100万,这125KB就占着不动。

  • 稀疏度>99.5%时,有效bit占比极低,但BITCOUNT、BITPOS仍要遍历整块内存,CPU缓存失效
  • RDB/AOF把所有零字节照常落盘,备份体积虚高
  • 集群中单key过大还会触发slot倾斜,影响迁移和扩缩容

分段位图怎么分:选段长、算key、设offset

核心是把“一个超大Bitmap”拆成“多个可控大小的Bitmap”,每段独立key,业务层负责路由。

Redis Skill - 高性能缓存管理
Redis Skill - 高性能缓存管理

Redis 缓存和数据结构管理技能。通过自然语言操作 Redis,支持 String、Hash、List、Set、ZSet、Stream 等数据结构操作。当用户提到 Redis、缓存、消息队列、会话存储时使用此技能。

下载
  • 段长建议选10000~65536:太小(如100)会导致key数爆炸,SCAN和KEYS压力大;太大(如50万)起不到压缩效果
  • 路由公式固定:seg_id = Math.floor(offset / SEG_LEN),local_offset = offset % SEG_LEN
  • key命名示例:user:active:seg:12(对应全局offset 120000~129999),local_offset范围始终在[0, SEG_LEN)
  • 务必用Math.floor而非parseInt或~~,避免负数offset出错

分段后必须手动处理的三个坑

Redis不感知分段逻辑,所有“理所当然”的行为都要自己兜底。

  • GETRANGE跨段读取时,某段key可能根本不存在(返回nil),而BITCOUNT遇到nil直接报错,得先EXISTS判空再聚合
  • EXPIRE必须对每个子key单独执行,漏设一个就会造成“逻辑已过期但物理数据残留”,后续统计失真
  • SCAN清理旧段时,MATCH "user:active:seg:*"要加冒号转义(如果业务key含冒号),且游标需完整遍历,不能靠COUNT估算

别指望BITOP跨段运算,应用层聚合才是现实路径

BITOP AND user:active:7d user:active:seg:0 user:active:seg:1 ...这种写法无效——BITOP只支持同key内多值或同类型key,不识别分段语义。

  • 需要交集/并集时,必须在应用层逐段GET二进制串,用语言内置位运算(如Python的&、|)合并,再SET回新key
  • 连续签到统计这类场景,优先用BITFIELD批量读写+本地循环判断,比拉取整段再处理更省带宽
  • 如果业务允许近似结果,可考虑改用RedisBloom的CF.ADD,但注意它无法精确读写任意bit位

分段本质是把内存压力换成了key数量压力和路由复杂度。真正该反思的是:用Bitmap存“过去三年每天是否登录”这种极度稀疏的状态,本身就是误用——时间序列或活跃日集合(SET)更合适。

热门AI工具

更多
Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

470

2025.09.05

golang map相关教程
golang map相关教程

本专题整合了golang map相关教程,阅读专题下面的文章了解更多详细内容。

323

2025.11.16

golang map原理
golang map原理

本专题整合了golang map相关内容,阅读专题下面的文章了解更多详细内容。

493

2025.11.17

java判断map相关教程
java判断map相关教程

本专题整合了java判断map相关教程,阅读专题下面的文章了解更多详细内容。

263

2025.11.27

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4289

2023.11.02

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

3795

2023.11.14

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

6852

2024.04.02

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

623

2024.04.07

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

80

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn