讲师中心 微信公众号
AI工具推荐 视频效率加速

C++ 实现异步日志库的双缓冲落盘机制 _ 提升 IO 吞吐量【实战】

雨宇小哥_5394

雨宇小哥_5394

发布时间:2026-05-12 17:36:20

|

402人浏览过

|

来源于php中文网

原创

采用三状态原子机控制缓冲区切换、posix_memalign对齐内存预映射、write()+fdatasync()分离策略、writev()批量提交及专用限流flush线程,实现高吞吐低延迟日志写入。

c++ 实现异步日志库的双缓冲落盘机制 _ 提升 io 吞吐量【实战】

一、采用三状态原子机控制缓冲区切换

仅用 std::atomic 交换缓冲区指针无法保证写入完整性,业务线程可能在 memcpy 一条 log_entry 的中途被切换,导致后台线程读取到字节撕裂或未对齐的日志项。三状态原子机(READY_TO_WRITE → SWITCHING → READY_TO_FLUSH)通过 std::atomic 和 compare_exchange_weak 实现无锁跃迁,确保切换前当前 buffer 已完整填满至少一条 struct log_entry,且所有写入对消费者可见。

1、声明状态变量:std::atomic state_{READY_TO_WRITE}; 其中 READY_TO_WRITE = 0, SWITCHING = 1, READY_TO_FLUSH = 2。

2、业务线程追加日志前,执行 while (state_.load() != READY_TO_WRITE) { std::this_thread::yield(); } 防止写入非就绪状态。

3、当检测到当前 buffer 剩余空间不足容纳下一条完整 log_entry 时,调用 compare_exchange_weak 尝试将 state_ 从 READY_TO_WRITE 更新为 SWITCHING。

立即学习“C++免费学习笔记(深入)”;

4、若更新成功,则原子交换 front_buffer 与 back_buffer 指针,并立即将 state_ 置为 READY_TO_FLUSH;若失败,则 fallback 到 thread_local char[4096] 临时缓存,避免自旋耗尽 CPU。

5、刷盘线程消费完 READY_TO_FLUSH 状态的 buffer 后,调用 compare_exchange_strong 将 state_ 从 READY_TO_FLUSH 置为 READY_TO_WRITE,完成复用闭环。

二、使用 posix_memalign 分配对齐内存并预映射物理页

未对齐内存或首次访问触发缺页异常会导致 write() 延迟不可控,尤其在大 buffer 场景下可能引入毫秒级抖动。posix_memalign(4096, size) 确保地址按页对齐,配合 mlock() 锁定物理页可彻底消除 page fault,保障 memcpy 和 write() 的确定性延迟。

1、分配双缓冲区内存:char* buf_a; posix_memalign(&buf_a, 4096, 65536); 同样方式分配 buf_b,大小统一为 64KB(适配 SSD 高频小日志场景)。

2、分配成功后立即调用 mlock(buf_a, 65536) 锁住物理内存页;若权限不足则退而使用 memset(buf_a, 0, 65536) 主动触发首次映射。

3、禁止使用 new char[65536]、std::vector 或 std::string 作为 buffer 底层——其内存不保证对齐,且扩容会破坏原子性。

4、write() 调用时传入的 buf 指针必须是 posix_memalign 返回的原始地址,不得偏移;否则内核校验失败返回 -EINVAL。

5、刷盘线程完成 write() 后,立即调用 posix_fadvise(fd_, 0, 65536, POSIX_FADV_DONTNEED) 提示内核释放对应 page cache,降低内存压力。

三、禁用 O_SYNC/O_DSYNC 并采用 write() + fdatasync() 分离策略

O_SYNC 和 O_DSYNC 会使每次 write() 强制等待磁盘确认,彻底废除双缓冲意义,将后台 flush 线程变为串行瓶颈。正确做法是仅在 buffer 满、空闲超 1 秒或显式 flush() 请求时调用 fdatasync(),兼顾持久性与吞吐量。

1、打开日志文件时使用标志:O_WRONLY | O_CREAT | O_APPEND | O_CLOEXEC;绝对禁用 O_SYNC 和 O_DSYNC。

2、flush 线程循环中,先调用 write(fd_, buf, used_len) 将整块 buffer 写入内核 page cache。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

3、write() 成功返回后,检查该 buffer 是否已满或距上次写入已超 1000ms;满足任一条件则调用 fdatasync(fd_)。

4、fdatasync() 仅刷新数据页,不刷元数据,比 fsync() 延迟更低,且能保证崩溃后日志不丢。

5、绝不使用 fwrite() 或 std::ofstream —— 它们自带 libc 缓冲区,日志可能卡在用户态缓冲中,进程崩溃即丢失。

四、使用 writev() 批量提交与二进制结构体布局

频繁小 write() 会显著抬高系统调用开销,而字符串拼接格式化消耗大量 CPU。writev() 可合并多个日志项一次性提交,struct log_entry 采用紧凑二进制布局(如 uint64_t ts; uint8_t level; uint16_t len; char data[]),跳过解析与拼接,直写内存。

1、定义日志结构体:struct LogEntry { uint64_t timestamp; uint8_t level; uint16_t msg_len; char msg[]; };

2、格式化阶段将时间戳、等级、长度、消息内容依次 memcpy 到 buffer 中,严格按结构体字段对齐,避免跨字段截断。

3、当 buffer 中累积多条 LogEntry 且总长度 ≥ 4096 字节时,构造 iovec 数组,每个 iov_base 指向一条 LogEntry 起始地址,iov_len 为其 sizeof(LogEntry) + msg_len。

4、调用 writev(fd_, iov, iovcnt) 一次性提交,减少系统调用次数。

5、每条 LogEntry 的 msg_len 必须是实际有效字节数,禁止包含末尾 '\0' 或额外填充,防止读取越界或解析错误。

五、使用专用 flush 线程 + 限流防积压机制

后台 flush 线程若处理不过来,待刷 buffer 积压将引发 OOM 或丢日志。必须限制最大积压数量,并提供降级路径。专用线程避免上下文切换抖动,也便于 strace -e write 直接观测落盘行为。

1、声明 std::queue<:unique_ptr>> pending_buffers_; 配合 std::mutex 和 std::condition_variable 控制出入队。

2、业务线程在成功交换出满 buffer 后,将其 move 进 pending_buffers_;若队列 size() ≥ 2,则丢弃该 buffer 或降级为 fprintf(stderr, ...) 输出。

3、flush 线程主循环为 while (running_) { auto buf = pop_from_queue(); if (buf) { write(fd_, buf.get(), used_len); fdatasync(fd_); } else { std::this_thread::sleep_for(1ms); } }。

4、析构 logger 对象前,置 running_ = false 并 notify_one();flush 线程在每次循环末尾检查 running_ 标志,避免永久挂起。

5、pending_buffers_ 出队后立即 std::move 到局部 unique_ptr,确保即使 write() 中途抛异常,buffer 内存也能自动释放。

热门AI工具

更多
PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
c++和c语言的区别有哪些
c++和c语言的区别有哪些

c++和c语言的区别:1、面向对象编程(OOP)支持不同;2、新增特性不同;3、标准库不同;4、编译方式不同;5、命名空间不同等等。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2248

2024.03.14

c++和python学习顺序推荐
c++和python学习顺序推荐

一般建议先学习C++,再学习Python,因为这样可以逐步从较为底层的编程语言向更高级的语言过渡。想了解更多python的相关内容,可以阅读本专题下面的文章。

1019

2024.03.14

python和c++学习性价比分析
python和c++学习性价比分析

Python易于学习,广泛应用于Web开发、数据科学和人工智能等领域,但性能较低。C语言性能高,适用于对性能要求较高的场景,如游戏开发和系统编程,但学习曲线陡峭,错误处理复杂。想了解更多python的相关内容,可以阅读本专题下面的文章。

447

2024.03.14

c语言和c++一样吗
c语言和c++一样吗

c语言和c++是两种不同的编程语言,虽然有相似之处,但存在显著差异。c语言专注于过程式编程和系统级开发,以简洁、高效著称。c++作为c语言的超集,引入了面向对象编程,增强了代码组织和管理能力,但学习曲线也更陡峭。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

327

2024.03.14

c语言和c++先学哪个好
c语言和c++先学哪个好

初学者选择学习c语言还是c++语言,需要根据个人学习目标、背景以及编程兴趣和预期应用方向来决定。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

406

2024.03.14

c语言和c++的区别和联系
c语言和c++的区别和联系

c语言和c++是计算机科学领域应用广泛的编程语言。虽然它们有着相似的基础,但它们在语言类型、语法功能和内存管理方面存在着显著差异。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

580

2024.03.14

c++软件中文更改教程
c++软件中文更改教程

对于 ide,可通过打开设置,找到语言设置,选择中文,并保存更改。对于非 ide 应用程序,可查找设置或选项,选择语言设置,更改为中文,并保存更改。想了解更多c++的相关内容,可以阅读本专题下面的文章。

1409

2024.03.21

python和java和c++学习性价比分析
python和java和c++学习性价比分析

Python以其易学性、丰富的库和活跃的社区而著称,适合数据科学、人工智能和Web开发。Java以其跨平台性、企业级应用开发和Android应用开发而闻名。C++以其底层控制能力、高效性能和游戏开发而著称。选择哪种语言取决于个人兴趣、职业方向和特定需求。想了解更多python和java和c++的相关内容,可以阅读本专题下面的文章。

1217

2024.03.22

Playwright 测试失败怎么办
Playwright 测试失败怎么办

Playwright测试失败专题汇集超时、定位器匹配、浏览器提前关闭、依赖与插件配置、文件上传、SSL及Docker启动等故障文章,并介绍通过截图、报告和Trace定位错误。

20

2026.10.21

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn