讲师中心 微信公众号
AI工具推荐 视频效率加速

c++如何利用POSIX AIO实现高性能异步文件读写_Linux内核机制【进阶】

秋枫君_5474

秋枫君_5474

发布时间:2026-04-06 20:14:01

|

552人浏览过

|

来源于php中文网

原创

POSIX AIO 在 Linux 上不可靠,因其依赖 glibc 线程池模拟,非内核原生异步;推荐直接使用 io_uring——Linux 5.1+ 原生异步接口,支持 buffered I/O、零拷贝、无锁,性能更优且更可控。

c++如何利用posix aio实现高性能异步文件读写_linux内核机制【进阶】

POSIX AIO 在 Linux 上实际不可靠,别硬上 aio_read/aio_write

Linux 内核原生不支持真正的 POSIX AIO(即内核态异步 I/O),glibc 提供的 libaio 兼容层其实是用线程池 + 阻塞 I/O 模拟的。这意味着:aio_read 调用后,底层仍可能阻塞线程、触发上下文切换,且无法利用 io_uring 或 kernel-native async path。实测在高并发小文件场景下,吞吐反而低于 epoll + 线程池 + read/write 的组合。

常见错误现象:aio_error 返回 0 但 aio_return 返回 -1 且 errno == EAGAIN;或 aio_suspend 长时间不返回,实际 I/O 却早已完成(线程池调度延迟导致)。

  • 仅当使用 io_submit/io_getevents(即 libaio 的 native 接口)时,才真正绕过 glibc 封装,进入内核 AIO 子系统(但仅限 O_DIRECT 文件)
  • 普通文件(无 O_DIRECT)+ aio_read → 必走 glibc 线程池,和自己开 pthread 几乎没区别
  • Linux 5.1+ 已标记 POSIX AIO 为 legacy,文档明确建议迁移到 io_uring

想用真异步?直接上 io_uring,liburing 封装足够好用

io_uring 是 Linux 5.1+ 原生异步 I/O 接口,零拷贝提交/完成队列、无锁设计、支持 read/write/fsync/splice 等全部文件操作,且无需 O_DIRECT 也能高效运行。C++ 项目接入只需链接 -luring,比 POSIX AIO 更轻量、更可控。

典型流程:调用 io_uring_queue_init 初始化 ring → io_uring_prep_read 构造请求 → io_uring_submit 提交 → io_uring_wait_cqe_nr 等待完成。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

立即学习“C++免费学习笔记(深入)”;

  • 避免手动管理 SQE/CQE 内存:用 io_uring_get_sqe 获取空闲 SQE,别自己 malloc
  • 提交前务必检查 io_uring_sq_ready,防止 ring 满导致 io_uring_submit 返回 -EBUSY
  • 完成事件中,cqe->res 是实际字节数或负的 errno(如 -EINTR 不代表失败,需重试)
  • 不要在回调里做耗时操作:io_uring 完成回调本质是用户轮询结果,业务逻辑应尽快 dispatch 到 worker 线程

为什么 O_DIRECT + libaio 也难达标?内核页缓存绕过代价大

有人试图用 O_DIRECT + io_submit 强行启用内核 AIO,但这要求:对齐的 buffer(posix_memalign)、对齐的 offset 和 length(通常 512B 或 4K)、且完全绕过 page cache。后果是:小随机读写性能暴跌,因为失去预读、page cache 合并等优化;SSD 寿命加速消耗;部分文件系统(如 XFS)对 O_DIRECT 有额外锁竞争。

  • O_DIRECT buffer 必须用 memalign(4096, size) 分配,malloc 的内存大概率不对齐,io_submit 直接返回 -EINVAL
  • 即使对齐,ext4 在 O_DIRECT 下仍可能 fallback 到 buffered path(如遇到 hole),行为不可控
  • 现代 NVMe 设备 + io_uring + 默认 buffered I/O,实测随机读 QPS 反超 O_DIRECT + libaio 30% 以上

C++ 封装要点:别封装过度,暴露 ring 生命周期和错误码语义

写一个 C++ IoUringFile 类时,重点不是“把接口变漂亮”,而是让调用方清晰感知 ring 状态、submission 失败原因、以及 cqe->res 的 errno 解包逻辑。过度封装(比如隐藏 io_uring_submit 返回值)会导致线上问题排查困难。

  • 构造函数必须接受 int entries(ring 大小),默认 256 不够用;生产环境建议 1024~4096
  • 提供 submit_now() 和 submit_deferred() 两个提交入口:前者立即 io_uring_submit,后者只入队,由外部统一提交(利于批量合并)
  • 错误处理必须区分:ring 满(-EBUSY)、参数错(-EINVAL)、文件句柄无效(-EBADF)、内核资源不足(-EAGAIN)——每种对应不同退避策略
  • 不要在析构里自动 io_uring_queue_exit:若对象被 move 或多线程共享,容易 double-free

真正棘手的是 completion event 的语义一致性:同一个 cqe 可能因 timeout、cancel、或 I/O 自身失败而抵达,cqe->res 值含义完全不同,这里没有银弹,只能靠业务层根据上下文判断。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

5999

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2945

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

3748

2025.08.29

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

2625

2025.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

3748

2025.08.29

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

704

2025.10.23

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

3128

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

4709

2025.10.17

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

40

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn