讲师中心 微信公众号
AI工具推荐 视频效率加速

C++如何实现高效的无锁双端 FIFO 任务队列(Lock-free Buffer)

大涛君_7881

大涛君_7881

发布时间:2026-06-28 13:32:42

|

846人浏览过

|

来源于php中文网

原创

不能直接用 std::deque 做无锁双端队列,因其所有操作非原子,存在内存重排、ABA 问题和边界竞争;可行方案是基于固定大小环形缓冲区,用两个 std::atomic 索引配合内存序与 careful 边界判断。

c++如何实现高效的无锁双端 fifo 任务队列(lock-free buffer)

为什么不能直接用 std::deque 做无锁双端队列

因为 std::deque 的所有操作(包括 push_front、pop_back)都不是原子的,内部有多个指针/缓冲区管理逻辑,无法保证多线程并发读写时的一致性。哪怕只加一个 std::atomic 修饰其指针,也无法规避内存重排、ABA 问题和边界状态竞争——比如两个线程同时 push_front 可能导致缓冲区元数据错乱或内存泄漏。

真正可行的无锁双端 FIFO 必须基于固定大小的环形缓冲区(circular buffer),且两端使用独立的原子索引(std::atomic<size_t></size_t>),配合内存序约束和 careful 的边界判断。

  • 必须预分配固定容量,避免运行时内存分配带来的同步开销和不确定性
  • 头尾索引不能直接用 ++ 或 +=,需用 fetch_add 并检查 wrap-around
  • 读写端必须用 memory_order_acquire/memory_order_release 配对,防止指令重排破坏可见性
  • 空/满判定不能仅靠 head == tail(会歧义),得预留一个空槽,或额外用 std::atomic<bool></bool> 标记满状态

std::atomic 索引 + 模运算实现 push/pop 的关键细节

核心是把环形缓冲区建模为数组 + 两个原子索引:head_(消费者读位置)、tail_(生产者写位置)。每次 push/pop 都先 fetch_add 获取“申请到的位置”,再检查是否越界或冲突。

示例片段(简化版,省略内存序和 full/empty 判定):

立即学习“C++免费学习笔记(深入)”;

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
template<typename T, size_t N>
class LockFreeDeque {
    alignas(64) std::array<T, N> buf_;
    alignas(64) std::atomic<size_t> head_{0};
    alignas(64) std::atomic<size_t> tail_{0};
<pre class='brush:php;toolbar:false;'>size_t mask() const noexcept { return N - 1; } // 要求 N 是 2 的幂

bool try_push_back(const T& val) {
    size_t pos = tail_.fetch_add(1, std::memory_order_relaxed) & mask();
    if ((pos + 1) & mask() == head_.load(std::memory_order_acquire)) {
        // 满了,回退
        tail_.fetch_sub(1, std::memory_order_relaxed);
        return false;
    }
    new (&buf_[pos]) T(val); // placement new
    std::atomic_thread_fence(std::memory_order_release);
    return true;
}

};

  • 必须用 N 为 2 的幂,才能用位与 & mask() 替代取模,避免分支和除法开销
  • fetch_add 用 relaxed 是为了性能,但后续的满/空检查必须搭配 acquire load,否则其他线程的写可能不可见
  • 对象构造必须用 placement new,不能直接赋值(避免默认构造+赋值两步引发竞态)
  • 写入后需要 atomic_thread_fence(release) 或对某个哨兵变量 store-release,确保写入对消费者可见

如何安全处理对象生命周期与异常(尤其非 trivial 类型)

如果 T 有析构函数、拷贝构造可能抛异常,或含 std::unique_ptr 等资源句柄,无锁队列立刻变得危险:push 过程中若构造失败,已 fetch_add 的 tail_ 无法回滚,会导致后续读取未初始化内存。

  • 最稳妥做法:只允许 trivially_copyable 且无抛出构造/析构的类型(如 int、std::pair<int,int>)
  • 若必须支持复杂类型,应在 push 前做“预占位”:先 fetch_add,再在栈上构造临时对象,成功后再 move 到缓冲区并 commit(用 compare_exchange 更新状态)
  • pop 时不能直接调用析构函数——要等确认该元素已被消费完毕(即被另一个线程 pop 成功并离开临界路径),才可安全析构;通常需引入引用计数或 hazard pointer
  • 更现实的选择:改用 lock-free 单端队列(如 Michael-Scott),或接受细粒度锁(如每个 slot 加 spinlock)换取语义安全

实际项目中更推荐的替代方案

手写正确、高性能、泛型安全的 lock-free deque 极易出错,LLVM、Folly、moodycamel 的 ConcurrentQueue 等成熟实现都只提供单生产单消费(SPSC)或单端无锁,双端无锁极少落地。

  • 若场景是“生产者 push_back,消费者 pop_front”,直接用 moodycamel::BlockingConcurrentQueue(它底层是 lock-free ringbuffer,且做了大量缓存行对齐和 padding)
  • 若真需双端(如任务优先级插队),可拆成两个单端队列:high_priority_queue(lock-free SPSC) + normal_queue(带锁),由调度器统一 dispatch
  • Linux 上可考虑 io_uring 提供的用户态 ringbuffer,配合 IORING_OP_PROVIDE_BUFFERS 实现零拷贝任务提交,比纯用户态 lock-free 更高效也更可靠

真正难的不是原子操作本身,而是把内存序、对象生命周期、缓存一致性、调试可观测性全串起来——漏掉任意一环,程序可能在 99.9% 的负载下正常,剩下 0.1% 出现静默数据损坏。

热门AI工具

更多
PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
c++和c语言的区别有哪些
c++和c语言的区别有哪些

c++和c语言的区别:1、面向对象编程(OOP)支持不同;2、新增特性不同;3、标准库不同;4、编译方式不同;5、命名空间不同等等。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2248

2024.03.14

c++和python学习顺序推荐
c++和python学习顺序推荐

一般建议先学习C++,再学习Python,因为这样可以逐步从较为底层的编程语言向更高级的语言过渡。想了解更多python的相关内容,可以阅读本专题下面的文章。

1019

2024.03.14

python和c++学习性价比分析
python和c++学习性价比分析

Python易于学习,广泛应用于Web开发、数据科学和人工智能等领域,但性能较低。C语言性能高,适用于对性能要求较高的场景,如游戏开发和系统编程,但学习曲线陡峭,错误处理复杂。想了解更多python的相关内容,可以阅读本专题下面的文章。

447

2024.03.14

c语言和c++一样吗
c语言和c++一样吗

c语言和c++是两种不同的编程语言,虽然有相似之处,但存在显著差异。c语言专注于过程式编程和系统级开发,以简洁、高效著称。c++作为c语言的超集,引入了面向对象编程,增强了代码组织和管理能力,但学习曲线也更陡峭。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

327

2024.03.14

c语言和c++先学哪个好
c语言和c++先学哪个好

初学者选择学习c语言还是c++语言,需要根据个人学习目标、背景以及编程兴趣和预期应用方向来决定。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

406

2024.03.14

c语言和c++的区别和联系
c语言和c++的区别和联系

c语言和c++是计算机科学领域应用广泛的编程语言。虽然它们有着相似的基础,但它们在语言类型、语法功能和内存管理方面存在着显著差异。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

580

2024.03.14

c++软件中文更改教程
c++软件中文更改教程

对于 ide,可通过打开设置,找到语言设置,选择中文,并保存更改。对于非 ide 应用程序,可查找设置或选项,选择语言设置,更改为中文,并保存更改。想了解更多c++的相关内容,可以阅读本专题下面的文章。

1409

2024.03.21

python和java和c++学习性价比分析
python和java和c++学习性价比分析

Python以其易学性、丰富的库和活跃的社区而著称,适合数据科学、人工智能和Web开发。Java以其跨平台性、企业级应用开发和Android应用开发而闻名。C++以其底层控制能力、高效性能和游戏开发而著称。选择哪种语言取决于个人兴趣、职业方向和特定需求。想了解更多python和java和c++的相关内容,可以阅读本专题下面的文章。

1217

2024.03.22

Playwright 测试失败怎么办
Playwright 测试失败怎么办

Playwright测试失败专题汇集超时、定位器匹配、浏览器提前关闭、依赖与插件配置、文件上传、SSL及Docker启动等故障文章,并介绍通过截图、报告和Trace定位错误。

0

2026.10.21

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn