讲师中心 微信公众号
AI工具推荐 视频效率加速

C++如何实现基于协程的异步文件I/O并发读取引擎?(高吞吐量方案)

落涛姑娘_2137

落涛姑娘_2137

发布时间:2026-03-11 11:54:11

|

462人浏览过

|

来源于php中文网

原创

可行,需用io_uring配C++20协程手写awaiter:文件须O_DIRECT|O_NONBLOCK打开,buffer须页对齐且生命周期可控,SQ队列深度需合理配置,-EAGAIN/-ECANCELED须显式处理。

c++如何实现基于协程的异步文件i/o并发读取引擎?(高吞吐量方案)

用 std::coroutine + io_uring 做高吞吐异步文件读取是可行的,但别直接上 std::filesystem 或 std::fstream

标准库的 std::fstream 是同步阻塞的,协程挂起它毫无意义;std::filesystem 更是纯同步工具。真要高吞吐,并发读必须落到系统级异步 I/O 上——Linux 下目前最稳的路径是 io_uring 配合 C++20 协程手写 awaiter。Windows 可走 OVERLAPPED + GetQueuedCompletionStatusEx,但生态支持弱、移植成本高,不推荐新项目选。

常见错误现象:co_await 一个封装了 fread 的函数,结果 CPU 跑满、吞吐没提升,还卡死——本质是协程没真正让出线程,底层仍是同步调用。

  • 必须用 liburing(官方 C 封装)或 cpp-uring(C++ 封装)对接内核接口
  • 所有文件需用 O_DIRECT | O_NONBLOCK 打开,否则 io_uring 提交会退化为同步路径
  • 协程函数返回类型得是自定义 task<std::vector<char>> 这类可 await 的类型,不能是 void 或 std::future

io_uring 提交读请求时,buffer 管理不当会导致 SIGBUS 或数据错乱

直接把栈变量地址传给 io_uring_sqe_set_data 是高危操作:协程挂起后栈帧可能已被覆盖;堆分配又带来频繁 new/delete 开销。正确做法是预分配固定大小的 buffer pool,用 std::pmr::monotonic_buffer_resource 或环形 buffer 管理。

使用场景:单次读 128KB 文件块,同时并发 512 个请求——buffer 必须在请求生命周期内稳定有效,且不能跨协程复用未清理的内存。

立即学习“C++免费学习笔记(深入)”;

C++ Code Review Master
C++ Code Review Master

组合式C++代码评审方案,融合静态分析、AI推理、多轮迭代评审和C++专项检查,适用于PR审查、增量代码审查、全项目评审和代码质量评分,触发词包括review cpp、cpp代码评审、C++review、代码审查。

下载
  • 每个 io_uring_sqe 绑定的 buffer 指针,必须指向 page-aligned 内存(posix_memalign 分配)
  • 若用 O_DIRECT,buffer 大小必须是 512 字节对齐,否则提交失败并返回 -EINVAL
  • 不要在 await_suspend 里释放 buffer;要在 await_resume 处理完数据后,由上层逻辑归还到 pool

并发控制不是靠“开 1000 个协程”,而是靠 io_uring 的 SQ/CQ 队列深度和提交批处理

盲目增加协程数量只会压垮 submission queue(SQ),导致 io_uring_submit 返回 -EBUSY;更糟的是,部分请求被 silently 丢弃(取决于 flags)。真实吞吐瓶颈常在队列深度、缓存局部性、以及磁盘随机读放大。

性能影响:SQ 深度设为 1024,但只提交 64 个请求就调用 io_uring_submit,比攒够 256 个再提交慢 3–5 倍(实测 NVMe SSD)。

  • 初始化 io_uring_queue_init 时,entries 至少设为预期并发请求数的 2 倍(如目标 512 并发,entries ≥ 1024)
  • 用 io_uring_sqe* io_uring_get_sqe(&ring) 拿 sqe,拿到空指针说明 SQ 满,此时应 yield 协程,而不是忙等
  • 批量提交前调用 io_uring_submit_and_wait(&ring, n_to_wait),其中 n_to_wait 设为本次提交数,减少 syscall 次数

错误码不是全抛异常,-EAGAIN 和 -ECANCELED 必须显式处理

协程 awaiter 的 await_resume() 里如果只检查 res < 0 就 throw,会把 -EAGAIN(资源暂不可用)当成严重错误,导致整个引擎卡住。而 -ECANCELED 在超时或主动 cancel 场景下很常见,应转为协程正常返回而非崩溃。

容易踩的坑:用 std::error_code 包装 io_uring 返回值时,直接传 res 给 std::error_code(res, std::generic_category()) 是错的——io_uring 错误码是负值,std::generic_category() 不认负数,会变成 success。

  • 正确转换方式:std::error_code{-res, std::generic_category()}(取反)
  • -EAGAIN 应触发重试逻辑(比如延后几微秒再 co_await 同一 sqe),不是异常
  • -ECANCELED 对应协程取消,await_resume() 应返回空结果或标记状态,由上层决定是否重发

实际最难的部分不在协程语法,而在 buffer 生命周期与 io_uring 队列状态的精确对齐——差一行内存释放时机,就可能引发静默数据损坏或段错误。别信“封装好就能跑”的库,至少得看懂它怎么管理 sqe 和 cqe 的引用计数。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
javascriptvoid(o)怎么解决
javascriptvoid(o)怎么解决

javascriptvoid(o)的解决办法:1、检查语法错误;2、确保正确的执行环境;3、检查其他代码的冲突;4、使用事件委托;5、使用其他绑定方式;6、检查外部资源等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

636

2023.11.23

java中void的含义
java中void的含义

本专题整合了Java中void的相关内容,阅读专题下面的文章了解更多详细内容。

351

2025.11.27

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

319

2026.04.23

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

3068

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

4449

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3709

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

386

2026.01.19

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

4947

2023.07.18

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

20

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn