讲师中心 微信公众号
AI工具推荐 视频效率加速

怎样选择Redis Bitmap与RoaringBitmap解决稀疏数据存储痛点?

夏强姑娘_7828

夏强姑娘_7828

发布时间:2026-10-30 09:48:38

|

923人浏览过

|

来源于php中文网

原创

Redis Bitmap在稀疏ID场景下内存浪费严重,公式为(max_offset/8)+1字节;如ID=9999999则占约1.2MB,雪花ID易触发OOM;RoaringBitmap通过分桶+动态容器(Array/Bitmap/Run)按需存储,大幅压缩稀疏数据。

怎样选择redis bitmap与roaringbitmap解决稀疏数据存储痛点?

Redis Bitmap在稀疏ID场景下会吃掉多少内存?

直接看公式:(max_offset / 8) + 1 字节。比如你只存一个用户ID为 9999999(一千万),哪怕其他ID全是空的,Redis也会分配约 1250000 字节(≈1.2MB)——这还不是最糟的。如果ID是雪花算法生成的 1234567890123456789(19位),Redis会尝试分配超大字符串,极大概率触发 OOM command not allowed when used memory > 'maxmemory' 错误,或者直接拒绝写入。

常见错误现象:

  • BITCOUNT 返回 0,但 SETBIT 成功 —— 实际是内存分配失败后静默截断
  • INFO memory 显示 used_memory_human 突增数MB,而业务只写了一个bit
  • 客户端报 NOAUTH Authentication required 或 READONLY You can't write against a read only replica,其实是 OOM 导致 Redis 主动降级为只读

RoaringBitmap为什么能压住稀疏数据的内存?

它不靠“预留空间”,而是按需分桶:把 32 位整数拆成高 16 位(桶索引)和低 16 位(桶内值)。只有真正有数据的桶才创建容器,空桶完全不占内存。对上面那个 ID=9999999 的例子,它落在桶 0x0098(十进制 152),只新建一个容器存 0x9687(十进制 38535),总开销通常不到 1KB。

关键点在于三种容器的动态选择:

  • ArrayContainer:存 ≤4096 个数时用 short[],纯数组,查得快,空间线性增长(2 字节/数)
  • BitmapContainer:≥4096 个数时自动切为 65536 bit 的 bitmap(即 8KB 固定),适合局部稠密
  • RunContainer:连续范围多时启用游程编码,比如存 1~10000,压缩后可能只要几百字节

注意:RoaringBitmap 不是 Redis 原生命令,必须通过客户端库(如 Java 的 org.roaringbitmap:RoaringBitmap)序列化后存进 Redis 的 String 类型,或用支持它的服务端模块(如 Redis Stack)。

redis-tools
redis-tools

按类别查找Redis命令、检测服务器连接、监控键数量和内存占用,支持离线速查表。

下载

什么时候该坚持用原生 Redis Bitmap?

满足全部三个条件时,原生 Bitmap 更轻、更快、更稳:

  • 用户 ID 是连续或近似连续的整数,且最大值可控(例如注册用户数 ≤ 1000 万)
  • 业务只需要做 SETBIT/GETBIT/BITCOUNT/BITOP 这几类原子操作
  • 没有跨天/跨用户聚合需求(比如“过去 7 天都签到的用户”需 AND 7 个 key,原生支持;而 RoaringBitmap 要先取回再 in-memory 计算)

典型场景:内部系统员工考勤(员工编号 1~5000)、小规模活动抽奖白名单(ID 按报名顺序递增)。

集成 RoaringBitmap 到 Redis 的实操避坑点

别直接 new RoaringBitmap().serialize() 往 Redis 里塞字节数组 —— 默认序列化格式含 Java 类名和版本号,跨语言/跨版本反序列化会失败。

  • 务必用 roaringBitmap.serialize(new DataOutputStream(outputStream)),或调用 toByteArray()(无 header)
  • 读取时用 RoaringBitmap.bitmapOf() 初始化后 .or(bitmapFromRedis),别用 new RoaringBitmap(inputStream) —— 它依赖 Java stream 协议
  • 如果用 Redis Stack,优先走 RB.SADD 等原生命令,避免手动序列化;否则记得设置合理 EX 过期时间,因为序列化后无法用 BITCOUNT 直接查
  • 警惕 getLongCardinality() 和 getCardinality() 区别:前者返回 long,后者 int,ID 超过 21 亿时用错会截断

最常被忽略的是:RoaringBitmap 的压缩优势只在写入后生效。如果你每次只塞一个 ID 就序列化一次,频繁小写入反而比原生 Bitmap 更慢、更碎 —— 应批量构建完再存。

热门AI工具

更多
音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

相关专题

更多
golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

650

2025.09.05

golang map相关教程
golang map相关教程

本专题整合了golang map相关教程,阅读专题下面的文章了解更多详细内容。

343

2025.11.16

golang map原理
golang map原理

本专题整合了golang map相关内容,阅读专题下面的文章了解更多详细内容。

533

2025.11.17

java判断map相关教程
java判断map相关教程

本专题整合了java判断map相关教程,阅读专题下面的文章了解更多详细内容。

303

2025.11.27

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4709

2023.11.02

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4275

2023.11.14

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

8092

2024.04.02

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

663

2024.04.07

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

60

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn