讲师中心 微信公众号
AI工具推荐 视频效率加速

c++怎么实现基于优先级的异步日志写入系统_线程池方案【进阶】

星明酱_1875

星明酱_1875

发布时间:2026-04-12 16:22:03

|

951人浏览过

|

来源于php中文网

原创

不能直接用 std::async 或单日志线程,因其无法跨平台可靠设置OS调度优先级,且无法解决高优日志(如ERROR)被低优日志阻塞的核心矛盾;应采用带优先级队列的线程池,将日志作为带level和timestamp的任务单元入队,工作线程从std::priority_queue top()取任务,level低者优先、相同时按时间防饥饿。

c++怎么实现基于优先级的异步日志写入系统_线程池方案【进阶】

为什么不能直接用 std::async 或单个日志线程

因为优先级调度在标准 C++ 线程库中不暴露给用户:std::async 启动的线程、std::thread 创建的线程,其 OS 级调度优先级无法跨平台可靠设置;Linux 的 pthread_setschedparam 和 Windows 的 SetThreadPriority 都需要额外权限或策略支持,且容易被线程池内部复用逻辑覆盖。更关键的是,异步日志的核心矛盾不是“并发写”,而是“高优先级日志(如 ERROR)不能被低优先级日志(如 DEBUG)阻塞”。单线程串行化会卡住高优任务,多线程无序竞争又可能让 ERROR 日志晚于 100 条 INFO 才落盘。

用带优先级队列的线程池替代“日志线程”

核心是把“日志消息”变成带优先级的任务单元,由统一的线程池按优先级分发执行。不要自己管理线程生命周期,复用成熟的线程池(如 boost::asio::thread_pool 或自研无锁队列 + 工作窃取),但必须替换其默认的 FIFO 任务队列为基于 std::priority_queue 的变体。

  • 定义日志任务结构体,含 level(int,ERROR=0, WARN=1, INFO=2, DEBUG=3)、timestamp、message、file/line 等字段
  • 重载 operator:优先比较 <code>level,相同时用 timestamp 防止饥饿(避免同 level 下新日志永远排在老日志后面)
  • 线程池工作线程从优先级队列 top() 取任务,而非 front();每次取完调用 pop()
  • 注意:C++ 标准 std::priority_queue 是最大堆,所以要让低数值 level 表示高优先级,即 return a.level > b.level;

如何避免日志内容拷贝和内存抖动

高频日志场景下,std::string 拷贝和临时对象构造是主要性能瓶颈。不能在每条日志都做完整格式化(如拼接时间、文件名、级别字符串)后再入队。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • 入队前只保存原始参数:用 std::variant<:string_view int double const char></:string_view> 存储未格式化的值,延迟到工作线程中再格式化
  • 使用 fmt::format_to 配合预分配的 fmt::memory_buffer,避免反复 new/delete
  • 对固定字段(如模块名、函数名)用 static constexpr std::string_view,确保编译期驻留,零拷贝
  • 慎用 std::shared_ptr<logentry></logentry>:引用计数有原子开销;改用 std::unique_ptr<logentry></logentry> + 移动语义,或更轻量的 arena 分配器

flush 控制与线程安全边界在哪

日志系统最易出错的不是写入,而是 flush 时机和跨线程可见性。比如 ERROR 日志要求“立即刷盘”,但 std::ofstream::flush() 是阻塞的,不能在高优任务中同步调用。

立即学习“C++免费学习笔记(深入)”;

  • 将 flush 行为也作为任务提交:例如 log_error("xxx"); log_flush(); 实际生成两个优先级相同的任务,后者触发 fsync()
  • 避免在日志任务中直接调用 std::cout 或全局 std::ofstream —— 多线程写同一文件流需加锁,锁粒度大会拖慢整个池;应每个工作线程持有一个独立 std::ofstream(复用句柄,通过 seekp(0, std::ios::end) 定位),或用无锁 ring buffer + 单独 I/O 线程消费
  • std::atomic<bool></bool> 标记是否启用日志,但修改它不保证已入队任务被丢弃;真正开关应作用于提交入口(如检查 if (level >= g_min_log_level) return;)

优先级日志最难的不是排序,而是让高优任务“真正更快到达磁盘”——这取决于你是否把 fsync、磁盘 I/O、甚至 page cache 回写都纳入了优先级链路。多数人只做了内存队列排序,却忘了 write() 系统调用本身没有优先级。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

6679

2023.08.02

scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1009

2023.10.18

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3080

2023.10.25

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2278

2023.09.20

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1798

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2824

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

6164

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

5909

2023.11.24

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

60

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn