讲师中心 微信公众号
AI工具推荐 视频效率加速

c++如何高效读写大型文件_c++内存映射文件【进阶】

秋浩君_4016

秋浩君_4016

发布时间:2026-02-18 07:01:22

|

883人浏览过

|

来源于php中文网

原创

mmap 比 fread/fwrite 更快因其绕过内核缓冲区多次拷贝,实现文件到虚拟内存的直接映射,但存在缺页中断等隐性开销;适用于大文件随机访问、多进程共享只读数据或固定区域频繁修改。

c++如何高效读写大型文件_c++内存映射文件【进阶】

为什么 mmap 比 fread/fwrite 更快?

因为 mmap 绕过了内核缓冲区的多次拷贝:普通读写要经历「磁盘 → 内核页缓存 → 用户缓冲区」,而 mmap 让文件内容直接映射进进程虚拟地址空间,访问就像读写内存一样。但注意,这不等于“无代价”——缺页中断、页表管理、TLB 压力都是隐性开销。

适用场景:mmap 真正高效的地方是随机访问大文件(比如数据库索引、日志查找)、需要多进程共享同一份只读数据、或频繁修改固定区域(如位图、内存池头)。顺序流式读写反而可能因预读策略失效而变慢。

  • 64 位系统下推荐用 MAP_POPULATE 预加载物理页,避免首次访问时卡顿
  • 只读场景加 PROT_READ 和 MAP_PRIVATE,避免写时复制(COW)开销
  • 写入后必须调用 msync(MS_SYNC) 才能保证落盘,munmap 不触发同步

Windows 上怎么等价实现 mmap?

Windows 没有 mmap,但 CreateFileMapping + MapViewOfFile 功能完全对应。关键差异在于句柄管理和保护标志:

  • CreateFile 必须带 GENERIC_READ | GENERIC_WRITE,即使只读也要申请写权限(否则 CreateFileMapping 失败)
  • MapViewOfFile 的 dwDesiredAccess 才真正控制访问权限:FILE_MAP_READ / FILE_MAP_WRITE
  • 映射大小不能超过文件实际长度;若需扩展,先用 SetFilePointerEx + SetEndOfFile 扩容,再映射

错误示例:ERROR_MAPPED_FILE 常因文件句柄未设 FILE_FLAG_RANDOM_ACCESS 导致,尤其在 SSD 上影响预读性能。

立即学习“C++免费学习笔记(深入)”;

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

如何安全处理大于 2GB 的文件映射?

32 位程序天然受限于 4GB 虚拟地址空间,即使文件只有 2.5GB,也可能因 DLL 占位导致无法分配连续映射区。64 位下虽无此限,但仍有陷阱:

  • Linux:mmap 的 length 参数是 size_t,但某些老内核对超大映射会返回 ENOMEM,建议分块映射(如每次 512MB)
  • Windows:MapViewOfFile 的 dwNumberOfBytesToMap 是 DWORD(最大 4GB),超限时必须用 MapViewOfFileEx 并手动指定基址
  • 跨平台代码别用 sizeof(int) 判断文件大小,统一用 off_t(Linux)或 LARGE_INTEGER(Windows)

一个易忽略点:stat 或 GetFileSizeEx 返回的大小可能被其他进程截断,映射前最好加 flock 或 LockFileEx。

munmap 后指针还能用吗?

不能。一旦调用 munmap(或 Windows 的 UnmapViewOfFile),对应虚拟地址区间立即失效。后续访问会触发 SEGV_MAPERR(Linux)或 ACCESS_VIOLATION(Windows),不是“数据丢失”,而是段错误。

  • 多线程中务必确保无任何线程仍在访问该映射区,munmap 本身不是原子操作
  • RAII 封装时,析构函数里 munmap 前要加 std::atomic_thread_fence 防止编译器重排
  • 调试时可用 /proc/self/maps(Linux)或 VMMap 工具确认映射是否残留

最常被忽视的是信号处理:若在 SIGSEGV 信号 handler 中尝试访问已 munmap 的地址,会导致递归崩溃——handler 本身可能就运行在该映射区内。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

7099

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3385

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

4448

2025.08.29

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

3005

2025.08.29

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

379

2026.04.23

length函数用法
length函数用法

length函数用于返回指定字符串的字符数或字节数。可以用于计算字符串的长度,以便在查询和处理字符串数据时进行操作和判断。 需要注意的是length函数计算的是字符串的字符数,而不是字节数。对于多字节字符集,一个字符可能由多个字节组成。因此,length函数在计算字符串长度时会将多字节字符作为一个字符来计算。更多关于length函数的用法,大家可以阅读本专题下面的文章。

1947

2023.09.19

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4638

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

1289

2025.12.24

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

0

2026.11.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn