讲师中心 微信公众号
AI工具推荐 视频效率加速

C++实现基于线程池的任务工作窃取(Work-Stealing)逻辑 _ 并发优化【源码】

星明小哥_6368

星明小哥_6368

发布时间:2026-05-11 15:28:02

|

685人浏览过

|

来源于php中文网

原创

C++高并发任务调度中负载失衡可通过工作窃取解决:一、为每线程配双端队列,本线程LIFO操作队尾,窃取者FIFO取队首;二、空闲时随机选取目标窃取,避免竞争;三、批量窃取约一半任务以平衡开销与均衡;四、用内存屏障防止重排;五、用shared_mutex分离读写提升吞吐。

c++实现基于线程池的任务工作窃取(work-stealing)逻辑 _ 并发优化【源码】

如果您在C++中实现高并发任务调度,但发现部分线程长期空闲而其他线程持续过载,则可能是由于任务分配不均导致负载失衡。以下是实现基于线程池的任务工作窃取(Work-Stealing)逻辑的具体步骤:

一、使用双端队列(deque)为每个线程维护私有任务队列

每个工作线程持有一个支持两端操作的容器,任务入队置于队尾,本线程取任务从队尾弹出(LIFO局部性优化),而其他线程“窃取”时从队首获取(FIFO避免竞争热点)。该设计降低锁争用并提升缓存局部性。

1、定义线程局部任务队列类型:使用std::deque<:function>>作为每个线程的本地任务容器。

2、在线程初始化阶段,为每个worker线程分配独立的deque实例,并通过thread_local或线程ID索引方式绑定。

立即学习“C++免费学习笔记(深入)”;

3、本线程执行pop操作时调用deque.back()后pop_back();窃取方调用deque.front()后pop_front(),且需对deque加细粒度锁(如std::mutex)或采用无锁deque(如boost::lockfree::deque)。

二、实现随机工作窃取策略

当某线程本地队列为空时,不应按固定顺序轮询其他线程,而应随机选取一个目标线程发起窃取,避免多个空闲线程同时向同一繁忙线程请求任务,从而缓解中心化竞争。

1、在线程主循环中检测本地deque.size() == 0时触发窃取逻辑。

2、生成[0, thread_count)范围内的随机整数,排除自身ID,得到候选窃取目标索引。

3、对该目标线程的私有deque尝试加锁(try_lock),成功后取出front任务并返回;若失败或目标队列为空,则重试最多3次,每次更换随机目标。

三、采用“半队列”批量窃取机制

单次窃取仅取一个任务效率低下,易引发频繁窃取开销;而全量转移又破坏原线程局部性。采用窃取约一半任务的方式,在平衡开销与负载均衡之间取得折中。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

1、当窃取线程获得目标deque互斥锁后,计算其当前大小size,确定窃取数量n = size >> 1(向下取整)。

2、若n == 0,则仅取1个任务以保证进度;否则循环调用pop_front()共n次,将任务暂存于本地临时vector。

3、释放目标deque锁,再将临时vector中所有任务push_back()至本线程deque尾部,维持LIFO执行顺序。

四、集成内存屏障防止指令重排影响可见性

工作窃取涉及跨线程读写共享状态(如deque大小、任务指针),编译器或CPU可能重排指令导致其他线程观察到不一致状态。必须在关键位置插入恰当内存序约束。

1、在每个线程检查本地队列是否为空前,插入std::atomic_thread_fence(std::memory_order_acquire)。

2、在目标线程完成一批任务入队(push_back)后,立即执行std::atomic_thread_fence(std::memory_order_release)。

3、在窃取线程成功获取任务并更新本地队列后,对全局任务计数器(如std::atomic total_submitted)执行fetch_add(1, std::memory_order_relaxed)。

五、使用std::shared_mutex分离读写路径以提升窃取吞吐

多数时间为本线程独占访问本地队列(写多读少),仅窃取时发生跨线程读操作。采用共享互斥锁可允许多个窃取者并发读取不同目标队列,显著提升高窃取频率下的扩展性。

1、将每个线程私有deque的保护锁由std::mutex替换为std::shared_mutex。

2、本线程pop_back()或push_back()时调用lock()和unlock()(独占模式)。

3、窃取线程在访问目标deque前调用lock_shared(),获取任务后调用unlock_shared();若需修改(如批量窃取后清空部分),仍回退至lock()。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
c++和c语言的区别有哪些
c++和c语言的区别有哪些

c++和c语言的区别:1、面向对象编程(OOP)支持不同;2、新增特性不同;3、标准库不同;4、编译方式不同;5、命名空间不同等等。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2288

2024.03.14

c++和python学习顺序推荐
c++和python学习顺序推荐

一般建议先学习C++,再学习Python,因为这样可以逐步从较为底层的编程语言向更高级的语言过渡。想了解更多python的相关内容,可以阅读本专题下面的文章。

1039

2024.03.14

python和c++学习性价比分析
python和c++学习性价比分析

Python易于学习,广泛应用于Web开发、数据科学和人工智能等领域,但性能较低。C语言性能高,适用于对性能要求较高的场景,如游戏开发和系统编程,但学习曲线陡峭,错误处理复杂。想了解更多python的相关内容,可以阅读本专题下面的文章。

447

2024.03.14

c语言和c++一样吗
c语言和c++一样吗

c语言和c++是两种不同的编程语言,虽然有相似之处,但存在显著差异。c语言专注于过程式编程和系统级开发,以简洁、高效著称。c++作为c语言的超集,引入了面向对象编程,增强了代码组织和管理能力,但学习曲线也更陡峭。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

347

2024.03.14

c语言和c++先学哪个好
c语言和c++先学哪个好

初学者选择学习c语言还是c++语言,需要根据个人学习目标、背景以及编程兴趣和预期应用方向来决定。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

426

2024.03.14

c语言和c++的区别和联系
c语言和c++的区别和联系

c语言和c++是计算机科学领域应用广泛的编程语言。虽然它们有着相似的基础,但它们在语言类型、语法功能和内存管理方面存在着显著差异。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

600

2024.03.14

c++软件中文更改教程
c++软件中文更改教程

对于 ide,可通过打开设置,找到语言设置,选择中文,并保存更改。对于非 ide 应用程序,可查找设置或选项,选择语言设置,更改为中文,并保存更改。想了解更多c++的相关内容,可以阅读本专题下面的文章。

1429

2024.03.21

python和java和c++学习性价比分析
python和java和c++学习性价比分析

Python以其易学性、丰富的库和活跃的社区而著称,适合数据科学、人工智能和Web开发。Java以其跨平台性、企业级应用开发和Android应用开发而闻名。C++以其底层控制能力、高效性能和游戏开发而著称。选择哪种语言取决于个人兴趣、职业方向和特定需求。想了解更多python和java和c++的相关内容,可以阅读本专题下面的文章。

1237

2024.03.22

Docker Desktop怎么设置端口映射
Docker Desktop怎么设置端口映射

本专题聚焦Docker Desktop容器端口映射与访问配置,整理从创建容器、设置端口绑定到验证本地服务访问的操作流程。针对端口被占用、映射配置错误、容器服务无法访问等情况,也提供相应的检查方向,方便用户完成端口配置。

0

2026.11.03

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn