讲师中心 微信公众号
AI工具推荐 视频效率加速

c++怎么确保多线程并发写入日志时每行内容的完整性与原子性【避坑】

梦枫小哥_4434

梦枫小哥_4434

发布时间:2026-03-31 18:09:14

|

317人浏览过

|

来源于php中文网

原创

一行日志被截断是因为POSIX write系统调用不保证行级原子性,多线程并发写入时内容会交错;需用mutex保护整行格式化与单次写入。

c++怎么确保多线程并发写入日志时每行内容的完整性与原子性【避坑】

log4cpp / spdlog 多线程写文件时为什么一行日志会被截断?

因为底层 fwrite 或 std::ofstream::write 本身不保证行级原子性——哪怕你传入一整行字符串,内核可能在 write 系统调用中途被调度切走,另一个线程紧接着写入,结果两行内容交错混在一起。这不是日志库的 bug,是 POSIX I/O 的基本事实。

常见错误现象:2024-05-12 10:23:41 INFO User login success 和 2024-05-12 10:23:41 ERROR DB timeout 合并成 2024-05-12 10:23:41 INFO User login success2024-05-12 10:23:41 ERROR DB timeout,甚至更糟:字符级穿插。

  • 别指望 std::endl 或 \n 自动加锁——它只负责刷缓冲区,不防并发写
  • 不要手动对每个 operator<< 调用加锁(比如 log << "a" << var << "b" 分三次写),中间可能被其他线程插入
  • spdlog 默认的 basic_file_sink_mt 是线程安全的,但“安全”指“不会崩”,不等于“每行完整”——它仍依赖底层 write 原子性,而普通文件不提供行原子保障

用 std::mutex + std::ostringstream 构造完整行再写入

核心思路:把整行日志拼成一个 std::string(或 std::ostringstream),然后单次 write() 或 << 到文件流。锁只保护拼接和写入这两个动作,不锁整个日志生命周期。

实操建议:

立即学习“C++免费学习笔记(深入)”;

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • 用 std::mutex(非 std::recursive_mutex)保护共享的 std::ofstream 或 sink 对象
  • 拼接必须在锁内完成:先格式化时间、级别、消息,再合成完整字符串,最后一次性写入
  • 避免在锁内做耗时操作(如网络调用、磁盘 stat)
  • 示例关键片段:
    std::lock_guard<std::mutex> lock(mtx_);
    oss_ << fmt::format("[{}] {} {}", now_str, level_str, msg);
    file_stream_ << oss_.str() << '\n';
    file_stream_.flush();

为什么 mmap + O_APPEND 不解决这个问题?

O_APPEND 只保证每次 write() 的偏移定位是原子的(即不会覆盖别人),但不保证内容不被其他线程的 write() 插入中间;mmap 更危险——多个线程直接往同一块内存映射区写,连换行符都可能被踩碎。

性能与兼容性影响:

  • O_APPEND 在 NFS 或某些容器文件系统上可能退化为普通 seek+write,失去原子性语义
  • mmap 写日志需手动处理同步(msync)、大小扩展、多进程可见性,复杂度远超收益
  • 真正需要高性能且强完整性时,应考虑无锁环形缓冲区 + 单独日志线程消费(如 g3log),而非在写入点硬扛并发

第三方库中哪些 sink 真正做到了行完整?

不是所有标称 “mt”(multi-threaded)的 sink 都默认保行完整。关键看它是否把格式化+写入封装为不可分割单元。

  • spdlog 的 rotating_logger_mt + basic_file_sink_mt:默认行为是线程安全拼接+单次 write,满足行完整(前提是不自定义 sink 且不用异步模式)
  • log4cpp 的 FileAppender:默认非线程安全,必须显式包装 SynchronizedAppender,否则即使加锁也难保行完整(内部可能分多次 write)
  • boost.log:需启用 locking 并配置 text_file_backend 的 rotation_size 和 auto_flush,否则缓冲区可能跨线程污染
  • 注意:异步 logger(如 spdlog::async_logger)会把格式化和写入拆到不同线程,此时行完整性由队列项粒度决定——只要每条日志消息是一个完整字符串入队,就仍是安全的

最容易被忽略的是:日志内容本身含换行符(比如打印 stack trace 或 JSON 字符串)。这种情况下,“一行”已失去意义,必须靠上层协议(如用 \0 分隔、加长度头)或改用结构化日志格式(JSON 行)来界定边界。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2075

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

3082

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

1036

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

3499

2025.09.10

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

5999

2023.08.02

scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

949

2023.10.18

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2760

2023.10.25

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1678

2023.08.03

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

40

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn