讲师中心 微信公众号

工具推荐

视频效率加速
AniShort
AniShort

AI短剧协同制作平台

Seko
Seko

AI短剧一键生成成片

立刻MV
立刻MV

低成本歌曲 MV、视频生成

Laper
Laper

剧本策划到成片协作

c++怎么编写一个多线程安全的异步日志库_流缓冲与异步写入【进阶】

大强大大_9812

大强大大_9812

发布时间:2026-03-24 19:56:31

|

404人浏览过

|

来源于php中文网

原创

std::ostream不能直接多线程共用,因其内部缓冲区非线程安全,多线程并发调用operator

c++怎么编写一个多线程安全的异步日志库_流缓冲与异步写入【进阶】

为什么 std::ostream 不能直接多线程共用

因为 std::ostream 内部缓冲区(比如 std::stringbuf 或 std::filebuf)不是线程安全的,多个线程同时调用 operator 或 <code>flush() 会触发未定义行为——常见表现是日志乱序、内容截断、甚至程序崩溃。标准库只保证对不同 std::ostream 对象的并发操作安全,不保证对同一对象的并发写入安全。

所以别试图给全局 std::ofstream 加个 std::mutex 然后锁住整个 链式调用——那会严重拖慢性能,且无法解决流缓冲区内部状态竞争。

  • 真正要保护的是「日志消息的完整采集」和「落盘前的缓冲区写入」两个阶段,不是整个流操作
  • 异步日志的核心思路是:线程只负责快速拷贝日志内容到无锁队列,由单独的后台线程消费并写入文件
  • 流缓冲(std::streambuf)可以重载,但必须确保 sputn/overflow 等关键虚函数在单线程上下文中被调用

怎么实现一个无锁日志缓冲队列(基于 moodycamel::ConcurrentQueue)

不用自己造轮子,moodycamel::ConcurrentQueue 是目前 C++ 中最轻量、可靠、且支持内存序精细控制的无锁队列。它比 std::queue + std::mutex 快 5–10 倍,也比很多自研环形缓冲更少出错。

关键不是“队列有多快”,而是它能让你把「日志格式化」和「日志写入」彻底解耦:前端线程只做字符串拼接或 fmt::format_to 到栈上 buffer,然后 move 进队列;后端线程批量取、批量刷盘。

立即学习“C++免费学习笔记(深入)”;

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • 队列元素建议用 std::string 或自定义小结构体(含时间戳、level、tid、message),避免裸指针或引用
  • 不要存 std::stringstream 对象进队列——构造/析构开销大,且可能隐式分配
  • 设置合理容量上限(如 1024),配合 try_enqueue + 丢弃策略,防止 OOM(尤其在磁盘卡住时)
  • 后台线程用 while (running) { queue.try_dequeue(item); ... },别用 wait_dequeue——它依赖平台 futex,Windows 下不可靠

std::streambuf 子类怎么对接异步写入而不阻塞

你可以继承 std::streambuf 并重写 sync() 和 overflow(),但注意:这些函数默认在调用线程中执行。如果在里面直接 push 到队列还行,但若尝试等 flush 完再返回,就退化成同步日志了。

正确做法是让 overflow() 把当前缓冲区内容打包进队列,然后清空本地 buffer;sync() 只负责触发一次强制提交(比如日志 level=ERROR 时),不等待落盘完成。

  • setp(buf, buf + size) 设置本地缓冲区,避免频繁分配;每次 overflow() 触发时,把 pbase() 到 pptr() 的内容 move 出去
  • 不要在 sync() 里调用 write() 或 fsync()——那是后台线程的事
  • 如果要用 std::ostream 接口(比如 logger ),就绑定这个自定义 <code>streambuf 到 std::ostream 实例,但该 ostream 必须是每个线程独享的(比如 TLS)
  • 别忘了重载 xsputn 提升批量写入效率,否则每个字符都走 overflow

异步日志里最容易被忽略的三个坑

不是性能瓶颈,而是上线后才暴露的隐蔽问题。

  • __FILE__ 和 __LINE__ 在宏展开时被求值,但如果日志宏里用了 lambda 或异步转发,它们会固定为宏定义处的位置,不是调用处——得用 LOG(INFO, "msg") 这种带显式 __FILE__/__LINE__ 参数的封装
  • 后台线程 crash 时,未 flush 的日志永远丢失;需在 std::at_quick_exit 或信号处理中强制 dump 队列(但注意:此时不能再 new/malloc)
  • 文件滚动(rotate)必须由后台线程完成,且要原子替换(rename()),不能让多个线程同时 open/close 同一个 fd——否则 Linux 下可能丢失 write 缓冲

异步日志最难的从来不是“怎么快”,而是“怎么不丢、不错、不崩”。缓冲区大小、队列策略、崩溃恢复、时钟精度——每个点都要结合你的业务吞吐和可靠性要求来调,没有通用最优解。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

超级麦吉

一款通过数字员工协作完成调研、数据分析与文档制作的AI办公平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

SoundView
SoundView Hot

SoundView是一款面向跨境电商的视频翻译、配音和本地化 AI 创作平台。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

7519

2023.08.02

while的用法
while的用法

while的用法是“while 条件: 代码块”,条件是一个表达式,当条件为真时,执行代码块,然后再次判断条件是否为真,如果为真则继续执行代码块,直到条件为假为止。本专题为大家提供while相关的文章、下载、课程内容,供大家免费下载体验。

354

2023.09.25

scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1069

2023.10.18

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3520

2023.10.25

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1938

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

3184

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

6384

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

6549

2023.11.24

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

20

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn