讲师中心 微信公众号
AI工具推荐 视频效率加速

c++如何实现一个带双缓冲区的异步高性能文件日志落盘类设计【进阶】

梦墨小哥_4233

梦墨小哥_4233

发布时间:2026-03-28 15:30:01

|

956人浏览过

|

来源于php中文网

原创

双缓冲区需用原子指针交换而非复制,4KB–64KB大小,生产消费完全解耦;刷盘线程累计写后fsync,超时降级;日志接口无锁无分配,禁止同步暴露内部状态。

c++如何实现一个带双缓冲区的异步高性能文件日志落盘类设计【进阶】

双缓冲区怎么配才不卡主线程

核心是让日志写入和磁盘刷盘完全解耦:一个缓冲区收日志(生产),另一个交由后台线程刷盘(消费),二者绝不共享同一块内存。用 std::array<char></char> 或 std::vector<char></char> 做缓冲单元,大小建议 4KB–64KB —— 太小导致频繁切换,太大则内存占用高且单次 write() 延迟上升。

关键操作不是“复制”,而是“交换指针”:std::atomic<bool></bool> 标记当前活跃缓冲区,std::atomic_thread_fence(std::memory_order_acquire) 保证可见性。别用 std::swap 或 std::move 在锁里搬数据,那会把异步拖成同步。

  • 避免在日志记录路径中做格式化字符串拼接(如 std::to_string、std::format),全挪到缓冲前完成
  • 缓冲区切换时,若后台线程还没刷完上一块,就丢日志 or 阻塞?推荐丢(加 std::atomic<uint64_t></uint64_t> 计数丢弃量供监控),阻塞等于把 IO 拖回主线程
  • 别用 std::string 当缓冲载体 —— 小字符串优化(SSO)在多线程下可能触发堆分配竞争

异步刷盘线程怎么避免 write() 阻塞住整个日志系统

write() 系统调用本身不阻塞,但底层文件描述符若开在普通 ext4 上、没设 O_DIRECT 或 O_SYNC,实际是写进 page cache —— 真正的阻塞发生在 fsync() 或内核回写压力大时。所以刷盘线程必须带超时控制 + 错误降级。

推荐组合:open(path, O_WRONLY | O_APPEND | O_CLOEXEC) 开文件,每次 write() 后不立刻 fsync(),改为累计 N 条或满 M 字节再 fsync();若 fsync() 耗时 > 100ms,记录警告并跳过本次(下次合并刷)。

立即学习“C++免费学习笔记(深入)”;

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • 绝对不要在刷盘线程里用 std::ofstream —— 它内部有 mutex 且 flush 行为不可控
  • Linux 下可考虑 io_uring 提交 IORING_OP_WRITE + IORING_OP_FSYNC,但需内核 ≥ 5.1,且错误码处理比 write/fsync 复杂得多
  • Windows 对应用 CreateFile + FILE_FLAG_NO_BUFFERING + WriteFile,注意对齐要求(buffer 和 offset 必须扇区对齐)

日志类如何安全暴露接口又不泄漏内部状态

用户调用的入口函数(如 log_info())必须是无锁、无分配、无异常抛出的。所有参数应已序列化为 std::string_view 或 const char* + size_t,内部只做 memcpy 到当前缓冲区。

禁止提供「获取当前缓冲区内容」或「强制立即刷盘」这类破坏异步契约的接口。如果真需要同步刷(比如进程退出前),走单独的 flush_and_wait(),且该函数应自旋等待后台线程空闲,而非抢锁拷贝缓冲区。

  • log_info(const char* fmt, ...) 这种 C 风格接口容易隐式调用 vsnprintf 导致栈溢出或性能抖动,优先用 log_info(std::string_view)
  • 构造函数里不做 mmap() 或预分配大内存 —— 那会让初始化变慢,且首次日志延迟不可控
  • 析构函数里必须调用 flush_and_wait(),否则可能丢失最后几条日志

多线程写同一个日志实例会崩吗

会,除非你从头就没让多个线程直接调用同一对象的非 const 成员函数。正确做法是:日志类本身无内部锁,靠外部使用模式约束 —— 比如每个线程持有一个 Logger*(实际指向全局单例),但所有写操作最终都走同一个无锁环形缓冲区的生产端。

更稳妥的是用 thread_local 缓冲区 + 定期批量提交(类似 LMAX Disruptor 的 multi-producer 模式),但实现复杂度陡增。对于大多数服务,用一个原子索引控制双缓冲切换,配合 __builtin_expect 优化分支预测,已经能撑住 10w+ QPS 日志写入。

  • 别给日志类加 std::mutex —— 锁粒度太粗,log_info() 变成串行瓶颈
  • gcc/clang 下用 __builtin_assume(buf_ptr != nullptr) 帮助编译器消除空指针检查开销
  • ASan/TSan 会误报双缓冲区的跨线程读写,需用 __tsan_acquire/__tsan_release 显式标注同步点

真正难的从来不是“怎么写进去”,而是“怎么在磁盘卡顿、内存紧张、CPU 抢占剧烈时,依然让 log_info() 的延迟稳定在微秒级 —— 这取决于缓冲区大小、切换策略、刷盘节奏三者的联合调优,没有银弹,只有压测曲线里反复抠出来的那个平衡点。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

6519

2023.08.02

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1749

2023.07.31

python中的format是什么意思
python中的format是什么意思

python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1211

2024.06.27

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2238

2023.09.20

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1758

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2764

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

6124

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

5789

2023.11.24

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

0

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn