讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在并发环境下使用BitSet进行高效的数据去重与排序操作

星杰小哥_3667

星杰小哥_3667

发布时间:2026-02-18 12:05:02

|

392人浏览过

|

来源于php中文网

原创

BitSet 在并发场景下不安全,需用分段 BitSet + LongAdder 实现无锁去重;分段大小宜选 65536,通过 segment = value >>> 16 定位段,再对低位操作;排序输出时按段调用 nextSetBit(0) 即可天然有序。

如何在并发环境下使用bitset进行高效的数据去重与排序操作

BitSet 在并发场景下不能直接用

Java 的 BitSet 本身不是线程安全的。多线程同时调用 set()、get() 或 cardinality() 会触发数据错乱,比如位被漏设、计数不准,甚至抛出 ArrayIndexOutOfBoundsException(内部数组扩容时竞态导致引用未及时更新)。

常见错误现象:BitSet 显示已设置某位,但另一线程读不到;或 stream().mapToObj() 遍历时跳过某些值;高并发下 size() 返回负数(内部 wordsInUse 字段撕裂)。

  • 别给 BitSet 加 synchronized 块封装——锁粒度太粗,吞吐暴跌,且无法解决迭代与修改的复合操作问题
  • 别用 Collections.synchronizedSet(new HashSet()) 模拟位图——内存和时间开销完全失去 BitSet 的优势
  • 如果只是去重+排序,且数据范围固定(如 0–1000000),优先考虑无锁替代方案

用 LongAdder + 分段 BitSet 实现无锁去重

核心思路是把大范围拆成多个小 BitSet(例如每段 65536 位),每个段配一个 LongAdder 记录该段已置位数量。线程根据数值哈希到对应段,只对该段加锁(或用 CAS 更新其 words 数组)。

实操建议:

  • 分段大小选 2^16(65536)较均衡:太小则锁竞争多,太大则单段内 CAS 失败率高
  • 用 AtomicReferenceArray<bitset></bitset> 存储各段,避免初始化竞争;首次访问某段时用 compareAndSet(null, new BitSet())
  • 写入时先算段索引:int segment = (int) (value >>> 16),再对 segments[segment] 调用 set(value & 0xFFFF)
  • 排序输出时按段遍历,每段内用 nextSetBit(0) 迭代,拼接结果——天然有序,无需额外排序

ConcurrentHashMap 不如 AtomicLongArray

有人想用 ConcurrentHashMap 存 key 做去重,但这是典型误用:key 是整数且范围可控时,ConcurrentHashMap 的哈希、节点创建、链表转红黑树等开销远超位操作;更关键的是它不提供顺序遍历能力,后续还得收集 key 再排序。

对比方案:

  • AtomicLongArray(每个 long 当 64 位)更适合:支持 CAS 更新单个 long,配合位运算(getAndBitwiseOr(idx, 1L )实现无锁 set;但需自己处理跨 long 的边界和统计
  • java.util.concurrent.atomic.Striped<bitset></bitset>(来自 Guava)可简化分段逻辑,但注意其默认条带数是 4,小数据量下反而增加哈希开销
  • 若 JDK ≥ 21,可试 VirtualThread + 单个 BitSet 加 synchronized——仅当 QPS

去重后排序的本质是遍历顺序,不是算法

BitSet 本身不“排序”,它的 nextSetBit(start) 是从左到右扫描,返回最小满足条件的索引。所以只要原始数据映射到 bit 位置的方式是单调的(如 value 直接作 index),遍历结果自然升序。

容易踩的坑:

  • 负数不能直接塞进 BitSet——必须偏移:如数据范围 [-1000, 9000],统一加 1000 变成 [0, 10000],否则 set(-1) 抛 IndexOutOfBoundsException
  • 稀疏数据(如只用了 0–100 和 999999)用 BitSet 浪费内存;此时改用 ConcurrentSkipListSet 更省,且自带排序
  • 如果业务允许误差,BloomFilter(如 guava BloomFilter<integer></integer>)能以极低内存完成去重判断,但无法枚举全部去重结果

真正麻烦的从来不是“怎么排”,而是“怎么在不锁死的情况下让每位都准确落到该落的位置”。位图的并发本质是空间换原子性,不是加锁就能绕过去的。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

549

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

1698

2024.03.01

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

6839

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3285

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

4268

2025.08.29

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

2905

2025.08.29

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4478

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

1249

2025.12.24

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

60

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn