讲师中心 微信公众号
AI工具推荐 视频效率加速

C++如何实现高性能的异步文件读取器?(利用AIO或io_uring)

大浩大大_7617

大浩大大_7617

发布时间:2026-03-05 09:14:03

|

1009人浏览过

|

来源于php中文网

原创

io_uring是Linux 5.1+下C++异步文件I/O最优解,吞吐与延迟均显著优于POSIX AIO;其为无锁零拷贝内核直通路径,而aio_read底层多为线程池模拟,存在调度开销与兼容性问题。

c++如何实现高性能的异步文件读取器?(利用aio或io_uring)

Linux 下用 io_uring 做异步文件读取,比 aio_read 快得多

直接结论:在 Linux 5.1+ 上,io_uring 是目前 C++ 异步文件 I/O 的最优解,吞吐和延迟都明显优于传统 POSIX AIO(aio_read/aio_write)。POSIX AIO 在内核中仍走线程池模拟,实际是同步阻塞 + 用户态线程调度,而 io_uring 是真正的无锁、零拷贝、内核直通路径。

实操建议:

  • io_uring 需要自己管理提交队列(SQ)和完成队列(CQ),但封装一层后,可做到类似 std::future 的使用体验;不要试图复用同一个 io_uring 实例跨线程提交(除非加锁),它本身不是线程安全的
  • 文件必须用 O_DIRECT 打开才能发挥最大性能,否则内核会绕过 page cache 但还要做额外对齐检查,反而更慢;注意 O_DIRECT 要求 buffer 地址和长度都按 512B 对齐(可用 posix_memalign 分配)
  • 避免频繁调用 io_uring_submit,应批量提交多个 IORING_OP_READ,再统一等待完成——单次提交一个请求,开销可能比实际读还高

为什么 aio_read 在大多数场景下不推荐

现象:调用 aio_read 后,用 aio_error 查状态总是返回 EINPROGRESS,但用 aio_suspend 等待又卡住,或回调没触发。

根本原因:glibc 的 POSIX AIO 实现默认用的是“线程池”模式(libaio 只在特定条件下启用),这意味着你写的“异步”代码,底层其实是起一个线程去 read,再通知你。这带来三重问题:

立即学习“C++免费学习笔记(深入)”;

  • 每次操作都有线程创建/切换开销,高并发时线程数爆炸
  • aio_suspend 和 sigwait 机制难调试,信号易丢失,且不能和 epoll 混用
  • 即使编译时链接 -laio,glibc 仍可能 fallback 到线程池(尤其非 O_DIRECT 文件),你根本控制不了

简单验证:strace 你的程序,如果看到大量 clone 或 epoll_wait 在后台跑,基本就是掉进线程池坑里了。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

io_uring 初始化和读请求的最小可行写法

不用框架,纯 liburing(v2.3+)几行就能跑起来。关键不是“怎么初始化”,而是“哪些参数不能错”:

  • 创建时必须传 IORING_SETUP_IOPOLL(针对存储设备)或 IORING_SETUP_SQPOLL(CPU 密集型场景),否则只是普通异步包装,性能无提升
  • io_uring_sqe 提交前,务必调用 io_uring_prep_read 并设好 sqe->flags = IOSQE_FIXED_FILE(若用了 io_uring_register_files),否则每次都要查 fd 表,损耗可观
  • buffer 地址必须是物理内存对齐的,io_uring 不帮你做 memcpy;错误示例:char buf[4096] 直接传给 io_uring_prep_read —— 很大概率触发 -EINVAL

示意片段(省略错误检查):

struct io_uring ring;
io_uring_queue_init(32, &ring, 0); // 32 是 SQ/CQ 大小,太小会频繁轮询
int fd = open("/path", O_RDONLY | O_DIRECT);
void *buf;
posix_memalign(&buf, 4096, 4096);
io_uring_register_files(&ring, &fd, 1);
struct io_uring_sqe *sqe = io_uring_get_sqe(&ring);
io_uring_prep_read(sqe, /* file_index */ 0, buf, 4096, 0);
sqe->flags |= IOSQE_FIXED_FILE;
io_uring_submit(&ring);

别忽略 mmap + readahead 这个“伪异步”组合

如果你的场景是顺序读大文件(比如日志分析、视频帧加载),io_uring 反而是杀鸡用牛刀。真正快且稳的做法是:

  • 用 mmap 映射文件,配合 MAP_POPULATE 预加载到 page cache
  • 用 readahead 提前触发内核预读(注意单位是 page,不是字节)
  • 业务线程直接指针访问,零系统调用、零拷贝、cache line 友好

性能差异明显:在 NVMe 上,mmap + readahead 的顺序读带宽常比 io_uring 高 10%~20%,因为绕过了所有 ring buffer 管理开销。但它只适用于可预测的访问模式;随机跳读或小块高频读,还是得靠 io_uring。

容易被忽略的一点:mmap 的 MAP_HUGETLB 在某些 workload 下能进一步减少 TLB miss,但需要提前配置 hugepage,不是默认开启的。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

359

2026.04.23

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4238

2023.08.10

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

4130

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3513

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2713

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

6630

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

6282

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3633

2023.07.20

Playwright 测试失败怎么办
Playwright 测试失败怎么办

Playwright测试失败专题汇集超时、定位器匹配、浏览器提前关闭、依赖与插件配置、文件上传、SSL及Docker启动等故障文章,并介绍通过截图、报告和Trace定位错误。

0

2026.10.21

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn