讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在Java中利用双端队列(Deque)实现工作窃取模式的自定义框架_出队与入队的无锁设计

酷辰酱_9963

酷辰酱_9963

发布时间:2026-03-14 01:27:32

|

912人浏览过

|

来源于php中文网

原创

工作窃取队列需无锁双端结构,本地用LIFO(pop)、窃取用FIFO(pollFirst),核心是原子维护top/base索引与2的幂数组,任务须不可变并加内存屏障,满时应分层缓冲而非加锁。

如何在java中利用双端队列(deque)实现工作窃取模式的自定义框架_出队与入队的无锁设计

Deque 的 pollFirst() 和 offerLast() 为什么不能直接用于工作窃取

因为标准 ArrayDeque 和 LinkedBlockingDeque 都不是线程安全的(前者完全无锁但非并发安全,后者加锁粒度大),而工作窃取要求「本地线程高频 push/pop,其他线程低频 steal」——必须分离读写路径,避免伪共享和 CAS 冲突。

常见错误现象:ConcurrentModificationException 或无限重试循环,尤其在高竞争下 pollFirst() 返回 null 却实际有任务,本质是缺乏内存可见性与原子状态判断。

  • 本地执行用 pop()(LIFO)提升缓存局部性,窃取端必须用 pollFirst()(FIFO)防饥饿,二者语义不能混用
  • ArrayDeque 的扩容机制在多线程下会破坏数组连续性假设,导致 cas 失败后无法回退
  • 别试图用 ConcurrentLinkedDeque:JDK 未提供该类,ConcurrentLinkedQueue 是单端,不支持双端原子操作

用 AtomicReferenceArray 手写无锁双端栈的核心结构

工作窃取队列本质是「本地线程独占的栈 + 其他线程只读首尾的队列」,所以只需保证两个位置原子更新:栈顶索引(top)和底端索引(base)。所有操作围绕这两个 AtomicInteger 展开,数组本身只做存储容器。

关键设计点:本地 push/pop 操作只改 top;窃取线程尝试 CAS base,且仅当 top > base + 1 时才允许取走 base 位置的任务(留至少一个防竞争丢失)。

立即学习“Java免费学习笔记(深入)”;

  • 数组长度必须是 2 的幂,用位运算替代取模:index & (array.length - 1)
  • push 时先 CAS top,成功后再写数组;pop 时先读 top,再 CAS 递减,最后读数组 —— 顺序不能反,否则出现 ABA 问题
  • 窃取失败不自旋,立即放弃:工作窃取本就是尽力而为,频繁失败说明负载已均衡
int t = top.get();
int b = base.get();
if (t > b + 1) {
    if (base.compareAndSet(b, b + 1)) {
        return array[b & mask];
    }
}

为什么 StealTask 必须是不可变对象 + 显式内存屏障

任务对象一旦入队,就可能被多个线程读取(本地执行、其他线程窃取),若任务含可变字段(如 status 字段),不同线程看到的值可能不一致,导致重复执行或漏执行。

常见错误场景:任务里调用 System.currentTimeMillis() 记录开始时间,结果窃取线程看到的是 0 —— 因为写操作没对其他 CPU 核心可见。

  • 所有任务字段声明为 final,构造即完成初始化
  • 若需运行时状态,改用 AtomicIntegerFieldUpdater 控制特定字段,避免整个对象加锁
  • 在 push() 最后插入 Unsafe.storeFence()(或 JDK9+ 的 VarHandle.releaseFence()),确保数组写入对其他线程可见

本地队列满时的 fallback 策略比锁更关键

无锁结构无法动态扩容,数组大小必须预设。填满后若强行拒绝任务,会导致提交线程阻塞或丢任务;若退化为加锁队列,又破坏无锁设计初衷。

真实生产中更有效的做法是分层缓冲:本地无锁栈 → 线程组共享的 TransferQueue → 全局阻塞队列。只有前两层都满才触发第三层。

  • 本地栈大小建议设为 4096(兼顾 L1 缓存行与空间利用率),超过后转交 ForkJoinPool.commonPool() 的 submit()
  • 避免用 synchronized 包裹整个 offer(),哪怕只有一行 —— 锁会把无锁队列变成串行瓶颈
  • 监控指标重点看 stealCount 和 localQueueOverflow,前者持续为 0 说明负载不均,后者突增说明预估容量过小

真正难的不是写对那几个 CAS,而是让本地线程足够“懒”——只在必要时才检查其他队列是否可窃取,其余时间专注自己的栈。这点容易被忽略,但决定整体吞吐上限。

热门AI工具

更多
讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

10477

2023.06.15

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

7602

2023.07.05

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

6652

2023.07.31

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1144

2023.08.01

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

928

2023.08.02

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

1376

2023.08.02

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2749

2023.08.02

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

20071

2023.08.03

Linux 新手先学哪些命令
Linux 新手先学哪些命令

Linux新手命令专题汇集终端基础、文件目录操作、文本查看、软件安装和权限管理等入门文章,帮助按实际任务练习常用命令并建立命令行操作习惯。

0

2026.10.15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
dev.java 官方:Learn Java
dev.java 官方:Learn Java

共0课时 | 0人学习

Java JDBC数据库连接官方教程
Java JDBC数据库连接官方教程

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn