讲师中心 微信公众号

工具推荐

视频效率加速
Seko
Seko

AI短剧一键生成成片

剧云
剧云

中文短剧剧本制作平台

AniShort
AniShort

AI短剧协同制作平台

updream

一键生成高质量推广成片

c++如何实现异步文件读写_Windows IOCP模型应用【进阶】

梦枫吖_8406

梦枫吖_8406

发布时间:2026-04-04 12:47:34

|

405人浏览过

|

来源于php中文网

原创

IOCP不是线程池,正确使用需以FILE_FLAG_OVERLAPPED打开文件、堆分配绑定业务数据的OVERLAPPED结构体、设ol.hEvent为NULL,并通过CONTAINING_RECORD从完成包还原上下文。

c++如何实现异步文件读写_windows iocp模型应用【进阶】

IOCP 不是线程池,别直接 CreateIoCompletionPort 后就开线程等 GetQueuedCompletionStatus

很多人一上来就调用 CreateIoCompletionPort,然后在多个线程里死循环调用 GetQueuedCompletionStatus,以为这就是“异步 IO”。其实这只是完成了端口绑定和等待机制,真正让文件操作异步的关键,在于必须使用 FILE_FLAG_OVERLAPPED 标志打开文件,并且所有读写都必须传入有效的 LPOVERLAPPED 结构体。

常见错误现象:GetQueuedCompletionStatus 永远不返回、返回 FALSE 且 GetLastError() 是 ERROR_IO_PENDING 却没后续通知、或干脆同步完成(没走 IOCP 流程)。

  • 打开文件时漏掉 FILE_FLAG_OVERLAPPED → 所有 ReadFile/WriteFile 强制同步,IOCP 收不到通知
  • LPOVERLAPPED 是栈变量且函数返回后就销毁 → 内存被复用,IO 完成时写入野地址,极大概率崩溃
  • 调用 ReadFile 返回 TRUE(立即完成)但没检查 lpNumberOfBytesRead → 误以为异步,实际是同步读完,IOCP 根本不触发

如何正确封装一个可重用的异步文件句柄类

核心是把 OVERLAPPED 和业务上下文(比如缓冲区指针、回调函数、请求 ID)绑在一起,避免裸指针管理。Windows 要求 OVERLAPPED 在 IO 完成前必须有效,所以推荐堆分配 + RAII 管理。

示例关键结构:

立即学习“C++免费学习笔记(深入)”;

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
struct AsyncFileOp {
    OVERLAPPED ol;
    HANDLE hFile;
    std::vector<char> buffer;
    std::function<void(DWORD, DWORD)> callback; // (error, bytes)
    AsyncFileOp(HANDLE h, size_t sz) : hFile(h), buffer(sz) {
        ZeroMemory(&ol, sizeof(ol));
        ol.hEvent = NULL; // 必须为 NULL,否则 IOCP 可能不投递
    }
};
  • ol.hEvent 必须设为 NULL,否则 GetQueuedCompletionStatus 可能跳过该完成包
  • 不要用 std::shared_ptr<overlapped></overlapped> —— OVERLAPPED 是 POD,不能继承或虚析构;用 std::unique_ptr<asyncfileop></asyncfileop> 更安全
  • 缓冲区(buffer)必须在 AsyncFileOp 生命周期内有效,不能传入局部数组或临时 std::string::data()

GetQueuedCompletionStatus 返回后,怎么区分是哪个操作完成了

Windows 不提供“完成包 ID”,只返回你当初传进去的 ULONG_PTR CompletionKey 和 LPOVERLAPPED 指针。所以 CompletionKey 应该是句柄级别标识(比如文件 ID 或对象指针),而具体操作上下文必须从 LPOVERLAPPED* 反推。

最稳妥做法:让 OVERLAPPED 成为结构体的第一个成员,这样通过指针偏移就能还原结构体首地址:

struct AsyncFileOp {
    OVERLAPPED ol; // 必须第一项
    HANDLE hFile;
    ...
};
// 在完成回调中:
AsyncFileOp* op = CONTAINING_RECORD(lpOverlapped, AsyncFileOp, ol);
  • 别用 reinterpret_cast<asyncfileop>(lpOverlapped)</asyncfileop> —— 如果 OVERLAPPED 不是首成员,偏移错,UB
  • CompletionKey 建议设为 reinterpret_cast<ulong_ptr>(this)</ulong_ptr>(当前文件对象),用于快速过滤无效句柄
  • 如果一个句柄对应多种操作(读/写/flush),靠 ol.Internal 或自定义字段(如 ol.Pointer)做类型标记更可靠

为什么 WriteFile 异步后,文件内容还是乱序或丢失

IOCP 本身不保证顺序 —— 它只保证每个 OVERLAPPED 对应的完成通知是原子的。但多个并发 WriteFile 请求若没有显式控制偏移,会相互覆盖。

  • 必须手动指定 ol.Offset 和 ol.OffsetHigh,不能依赖文件指针(SetFilePointerEx 在 overlapped 模式下无效)
  • 写同一区域前需加锁(如 SRWLock),或用单线程序列化写请求,否则数据竞争不可避免
  • 关闭句柄前务必调用 FlushFileBuffers(hFile),否则内核缓存可能未落盘,尤其在程序异常退出时
  • 大文件写入建议分块(如 64KB),避免单次 WriteFile 跨页或触发非分页池耗尽

IOCP 的复杂点不在 API 调用,而在状态管理和内存生命周期。最容易被忽略的是:OVERLAPPED 不是“参数”,它是异步操作的唯一身份证,它的生存期必须严格覆盖从发起 IO 到收到完成通知的全过程 —— 少一秒,就 crash 或静默失败。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

7519

2023.08.02

c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

569

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

1698

2024.03.01

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

5434

2025.06.09

golang结构体方法
golang结构体方法

本专题整合了golang结构体相关内容,请阅读专题下面的文章了解更多。

5611

2025.07.04

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

399

2026.04.23

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

6987

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2868

2023.08.10

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

20

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn