讲师中心 微信公众号
AI工具推荐 视频效率加速

c++怎么实现一个支持多线程写、单线程读的环形日志缓冲区【进阶】

阿晨姑娘_7844

阿晨姑娘_7844

发布时间:2026-04-01 18:44:03

|

938人浏览过

|

来源于php中文网

原创

不能直接用std::queue或std::vector做多写单读环形缓冲区,因其非线程安全,加锁会严重降低吞吐;无锁实现需原子变量、2的幂容量、位运算、len字段校验及内存序控制。

c++怎么实现一个支持多线程写、单线程读的环形日志缓冲区【进阶】

为什么不能直接用 std::queue 或 std::vector 做多写单读环形缓冲区

因为标准容器不是线程安全的写操作——多个线程同时调用 push_back 或 emplace 会破坏内部状态,即使加锁也会严重拖慢写入吞吐。环形缓冲区的核心价值是「无锁写入」,靠生产者/消费者指针分离 + 内存序控制实现。真实场景下(比如高频日志采集),std::queue 加互斥锁的吞吐可能只有无锁环形缓冲的 1/5。

关键约束:写线程可并发、不阻塞;读线程独占、按顺序消费;缓冲区大小固定;写满时丢弃最老日志(或阻塞写入,需明确选型)。

  • 必须用原子变量管理 write_index 和 read_index,且用 memory_order_acquire/release 配对,避免编译器/CPU 重排导致读到未写完的数据
  • 缓冲区容量必须是 2 的幂次(如 1024、4096),才能用位运算替代取模,避免除法开销和分支预测失败
  • 每个日志项需自带长度字段或使用定长结构,否则读线程无法判断一条日志是否完整写入

怎么用 std::atomic + 位运算实现无锁写入逻辑

核心是让每个写线程通过 fetch_add 竞争获取一段连续索引,再填充数据。不直接操作共享指针,而是「预留位置 → 写数据 → 提交偏移」三步。

class RingBuffer {
    static constexpr size_t CAPACITY = 4096;
    static constexpr size_t MASK = CAPACITY - 1;
    alignas(64) std::atomic<size_t> write_pos_{0};
    alignas(64) std::atomic<size_t> read_pos_{0};
    struct LogEntry {
        uint32_t len;      // 实际日志字节数(<= MAX_LOG_SIZE)
        char data[MAX_LOG_SIZE];
    };
    LogEntry buffer_[CAPACITY];
};
  • 写线程调用 try_reserve(size_t len):用 write_pos_.fetch_add(1, std::memory_order_relaxed) 获取唯一 slot 索引,检查是否与 read_pos_ 冲突(即缓冲区满),冲突则返回失败
  • 成功后,用 index & MASK 定位 buffer 下标,先写 len 字段(std::memory_order_relaxed),再 memcpy 日志体,最后用 std::atomic_thread_fence(std::memory_order_release) 保证写入全局可见
  • 读线程只从 read_pos_ 开始读,读完一个 entry 后用 read_pos_.fetch_add(1, std::memory_order_relaxed) 推进,无需锁

如何处理日志截断、内存对齐和跨 slot 边界写入

真实日志长度不确定,但环形缓冲区天然不支持跨 slot 存储——如果一条日志超过剩余空间,不能拆成两段(会破坏读线程顺序解析)。必须在写入前确保整条日志能放进单个 slot。

C++ Code Review Master
C++ Code Review Master

组合式C++代码评审方案,融合静态分析、AI推理、多轮迭代评审和C++专项检查,适用于PR审查、增量代码审查、全项目评审和代码质量评分,触发词包括review cpp、cpp代码评审、C++review、代码审查。

下载

立即学习“C++免费学习笔记(深入)”;

  • 定义 MAX_LOG_SIZE(如 1024 字节),所有日志预分配至此大小,超长则截断并标记 truncated 标志位
  • LogEntry 结构体用 alignas(8) 强制对齐,防止原子读写 len 字段时因非对齐触发总线错误(尤其 ARM 平台)
  • 写入前检查:if (len > MAX_LOG_SIZE) { len = MAX_LOG_SIZE; truncated = true; },避免 memcpy 越界
  • 读线程看到 len == 0 表示该 slot 为空(未写完或已消费),跳过;看到 len > MAX_LOG_SIZE 是严重错误,说明写线程未遵守截断规则

读线程饥饿或写线程丢日志时该怎么应对

单读多写模型下,读线程一旦卡住(如处理耗时日志、崩溃),写线程持续写入就会覆盖未读日志。这不是 bug,是设计取舍——你要明确选择「丢旧」还是「丢新」。

  • 默认策略(丢旧):写入时检测 (write_pos_.load() - read_pos_.load()) >= CAPACITY,若为真则先执行 read_pos_.fetch_add(1) 强制推进(相当于丢弃最老日志),再继续写
  • 若需丢新(写满则阻塞/失败),改用 compare_exchange_weak 循环尝试写入,直到有空闲 slot 或超时
  • 监控建议:暴露 get_used_size()(write_pos_ - read_pos_)和 get_drop_count()(原子计数器),上线后必须观察丢弃率是否异常升高

真正难的是边界 case:CPU 缓存一致性延迟导致读线程短暂看到「已写但未提交」的脏数据,所以 len 字段必须是第一个写入项,且读线程要先 load len,再根据其值决定是否读后续内容——这是防止读到中间状态的唯一可靠方式。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

相关专题

更多
golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

4174

2025.06.09

golang结构体方法
golang结构体方法

本专题整合了golang结构体相关内容,请阅读专题下面的文章了解更多。

4311

2025.07.04

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

319

2026.04.23

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

3698

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

1029

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

363

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

519

2026.01.21

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

369

2026.02.06

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

20

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn