讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在并发环境下高效统计UV_HashSet、BitMap与LongAdder对比

落伟小哥_3191

落伟小哥_3191

发布时间:2026-03-08 11:53:23

|

561人浏览过

|

来源于php中文网

原创

UV统计不宜直接用ConcurrentHashMap,因其需存储完整用户ID导致内存开销大、GC压力高,且size()不准确、computeIfAbsent易引发无效对象分配;BitMap适用于ID可映射为可控范围非负整数的场景,否则误判率高;UV_HashSet通过复用Boolean.TRUE节省内存,较ConcurrentHashMap显著降低堆占用。

如何在并发环境下高效统计uv_hashset、bitmap与longadder对比

UV统计为什么不能直接用ConcurrentHashMap

因为UV本质是去重计数,ConcurrentHashMap存的是完整用户ID(比如UUID或手机号),内存开销大、GC压力高,1000万UV可能占几百MB堆内存;并发put还涉及锁分段或CAS重试,吞吐上不去。真正要的只是“这个ID来过没”,不是“把它存下来”。

常见错误现象:ConcurrentHashMap.size()在高并发下不准——它不加锁统计,返回的是估算值;有人误用computeIfAbsent反复构造对象,触发无谓对象分配。

  • 场景:日活/小时活统计、实时风控中的设备去重
  • 关键取舍:精度(是否允许极低概率误判) vs 内存 vs 速度
  • BitMap适合固定ID空间(如用户ID是连续整数),UV_HashSet和LongAdder则面向离散字符串ID

BitMap在UV统计中怎么用才不翻车

BitMap高效的前提是ID能映射成非负整数且范围可控。比如用户表主键是long型自增ID,最大值1亿,那用RoaringBitmap(比原生java.util.BitSet更省内存)只要约12MB;但如果ID是UUID或手机号,强行转hashCode()会撞桶,误判率飙升。

容易踩的坑:BitSet.get(i)对超限索引静默返回false,不报错,导致漏统计;RoaringBitmap.add(负数)直接抛IllegalArgumentException。

  • 必须做ID归一化:用Math.abs(id.hashCode()) % MAX_SIZE不如用Murmur3Hash32再& (size-1)(确保size是2的幂)
  • 线上务必预估峰值UV,避免BitMap扩容(RoaringBitmap扩容是拷贝全量数据)
  • 不要拿BitMap当唯一凭证——布隆过滤器(BloomFilter)更适合做“是否存在”判断,BitMap更适合“确定存在且范围已知”

UV_HashSet为什么比ConcurrentHashMap省内存

核心在于复用java.util.HashSet底层的HashMap结构,但把value统一设为Boolean.TRUE(静态常量),避免每个entry都new一个对象;再配合ConcurrentHashMap的分段写入能力,做到线程安全+低内存。

实测对比:1000万随机UUID,ConcurrentHashMap<string boolean></string>约占用850MB,而ConcurrentHashMap<string boolean></string>配new ConcurrentHashMap(1初始容量 + <code>loadFactor=0.75,压到约420MB——省了一半,但仍是BitMap的30倍以上。

  • 参数差异:initialCapacity建议设为预估UV的1.3倍,避免rehash;concurrencyLevel(旧版)或CPU核数(新版)影响分段数,太高反而增加CAS失败率
  • 注意containsKey()和putIfAbsent(key, TRUE)的原子性差异:后者才是“有就跳过,没有才记”,前者+手动put不是原子的
  • 如果业务允许少量重复(比如UV误差ConcurrentSkipListSet替代,写性能略低但遍历有序,方便后续聚合

LongAdder只适合UV中间态计数,别直接当UV结果

LongAdder快是因为它把累加分散到多个cell上,避免单点竞争,但它统计的是“调用次数”,不是“去重后数量”。你不能靠它算UV——除非前面已经用BitMap或HashSet筛过一遍,只把“新用户”才发给LongAdder加1。

典型误用:if (!set.contains(id)) { set.add(id); counter.increment(); }里counter用LongAdder是对的,但有人把set换成ConcurrentHashMap又用LongAdder,结果发现UV虚高——因为contains和add之间有竞态窗口,两个线程同时判断“不存在”,都进了increment()。

  • 正确姿势:先用线程安全集合完成去重逻辑(比如putIfAbsent返回null才increment),LongAdder只负责最后一步计数
  • 性能影响:LongAdder.sum()需要遍历所有cell,高并发下可能比AtomicLong.get()慢,别在高频读场景频繁调用
  • 兼容性:Java 8+才有,Android需注意API Level(API 24+)

真正难的不是选哪个组件,而是想清楚你的ID分布、误差容忍度、内存预算这三点。比如日志系统采样率1%,那用布隆过滤器+LongAdder就够了;要是支付系统要精确UV,就得老老实实用ConcurrentHashMap,再加定时落盘去重校验。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

11537

2023.06.15

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

8662

2023.07.05

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

7432

2023.07.31

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1224

2023.08.01

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

988

2023.08.02

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

1476

2023.08.02

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

3029

2023.08.02

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

20291

2023.08.03

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

60

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn