讲师中心 微信公众号
AI工具推荐 视频效率加速

C++如何实现可扩展的日志系统?(异步写入与格式化优化)

秋辰大大_4435

秋辰大大_4435

发布时间:2026-03-05 00:15:33

|

236人浏览过

|

来源于php中文网

原创

因为磁盘 I/O 是阻塞操作,std::ofstream 直接写日志会阻塞主线程,即使只是写入 log_file。

c++如何实现可扩展的日志系统?(异步写入与格式化优化)

为什么 std::ofstream 直接写日志会卡主线程

因为磁盘 I/O 是阻塞操作,哪怕只是 log_file ,一旦磁盘忙、文件系统延迟高或日志量突增,<code>operator 就会停住当前线程。这不是你代码写得慢,是操作系统在等硬件响应。

实操建议:

立即学习“C++免费学习笔记(深入)”;

  • 绝不让业务线程直接调用 std::ofstream::write() 或流插入操作
  • 用无锁队列(如 moodycamel::ConcurrentQueue)把日志消息暂存到内存,由单独的 writer 线程消费
  • 避免在 logger 接口里做字符串拼接(比如 std::to_string(x) + " " + s),这会触发多次堆分配 —— 改用 fmt::format_to 写入预分配的 std::string_view 缓冲区

spdlog 默认异步模式为什么仍可能丢日志

它用的是线程安全的 async_logger,但默认丢弃策略是 overflow_policy::block 或 overflow_policy::discard,而很多人没改配置,又没监听 spdlog::drop_count(),结果高负载时日志静默消失。

实操建议:

立即学习“C++免费学习笔记(深入)”;

  • 初始化时显式指定 spdlog::drop_policy::overrun_oldest,确保队列满时不丢新日志也不卡住
  • 给 async logger 设置合理大小:太小(如 8192)容易溢出,太大(>1M)导致内存占用不可控;推荐 64K~256K 条消息缓冲
  • 务必调用 spdlog::flush_on(spdlog::level::err),否则 ERROR 级别以下的日志可能滞留在缓冲区不落盘

格式化开销到底来自哪?fmt::v8 和 std::format 怎么选

不是模板展开慢,是每次格式化都涉及参数类型擦除、动态分发和临时字符串构造。实测显示,对相同日志模板,fmt::v8::format_to 比 std::format 快 2–3 倍,且支持编译期检查格式串。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

实操建议:

立即学习“C++免费学习笔记(深入)”;

  • 禁用 fmt 的 locale 支持(定义 FMT_LOCALE 为 0),避免隐式 std::locale 构造开销
  • 用 fmt::memory_buffer 替代 std::string 作目标缓冲 —— 它内部预分配 256 字节,避免短日志反复 malloc
  • 不要在日志宏里写 fmt::format("{}", expensive_func());应先判断日志级别是否启用,再计算参数

如何让日志系统真正“可扩展”而不是只撑住单机

所谓可扩展,不是加个线程就完事,而是要能横向切分、按需路由、故障隔离。比如一个微服务集群里,不同模块日志应能独立滚动、限速、投递到不同后端(本地文件 / Kafka / Loki)。

实操建议:

立即学习“C++免费学习笔记(深入)”;

  • 每个模块用独立 spdlog::logger 实例,命名带前缀(如 "net.http"、"db.query"),便于运行时开关和配置粒度控制
  • 用 spdlog::sinks::dist_sink_mt 组合多个 sink,比如同时写文件 + 推送 Kafka,但注意 Kafka sink 必须自己实现非阻塞发送(不能用 librdkafka 同步 API)
  • 滚动策略别只看时间,加 size-based 触发(rotating_file_sink_mt 的 max_size),否则半夜流量低时日志文件空转一整晚不切

真正难的不是并发写,是当 writer 线程崩溃、磁盘满、网络断开时,日志要不要降级到 stderr、要不要触发告警、旧缓冲区怎么回收 —— 这些逻辑必须提前想清楚,不能靠“理论上不会出问题”。

热门AI工具

更多
Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4438

2023.08.10

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

20

2026.10.28

Vite 如何搭配 Vue.js
Vite 如何搭配 Vue.js

Vite搭配Vue.js专题汇集创建Vue 3项目、配置开发环境、路径别名、Vue插件、代理、多环境构建与调试的已审核文章,帮助读者完成从初始化到日常开发的配置。

0

2026.10.28

Vite 项目目录怎么看
Vite 项目目录怎么看

Vite项目目录专题汇集入口文件、src源码、public静态资源、路径别名、项目根目录和构建输出目录相关的已审核文章,帮助读者理解各文件夹的用途与引用方式。

0

2026.10.28

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

120

2026.10.22

Gradle Wrapper配置教程
Gradle Wrapper配置教程

本专题介绍Gradle Wrapper的基本作用,涵盖文件组成、生成方法、版本配置和任务调用,帮助你理解项目如何使用指定的Gradle版本,减少不同开发环境带来的构建差异。

60

2026.10.22

Golangci-lint检查器使用教程
Golangci-lint检查器使用教程

本专题整理Golangci-lint常用Linters的用途与配置方法,覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查,帮助项目合理选规则。

60

2026.10.22

Gradle怎么构建Java项目
Gradle怎么构建Java项目

本专题介绍Gradle Java项目构建方法,涵盖Java插件配置、依赖声明、源码编译、测试执行和打包检查,帮助你理解各阶段的任务关系,逐步完成项目构建。

40

2026.10.22

PHP时间戳漏洞修复教程
PHP时间戳漏洞修复教程

本专题汇总PHP常见时间戳漏洞,包括2038年溢出、时区漂移、时间戳伪造、重放攻击、时间盲注与日志审计失效等,并给出升级64位环境、使用 DateTimeImmutable、统一UTC、严格超时校验、预处理绑定、hash_equals 比对等修复方案,帮助开发者快速排查和加固时间相关代码。

60

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn