讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在c++中使用mmap进行内存映射文件 高效处理大文件【系统编程】

云婷姑娘_4542

云婷姑娘_4542

发布时间:2025-12-17 19:01:02

|

956人浏览过

|

来源于php中文网

原创

C++中用mmap映射大文件需先open获取fd并fstat得真实大小,mmap时length须准确、offset页对齐,PROT和MAP标志按读写需求选择,失败检查用MAP_FAILED,访问前校验边界,修改后msync同步,最后munmap释放。

如何在c++中使用mmap进行内存映射文件 高效处理大文件【系统编程】

在 C++ 中用 mmap 映射大文件,核心是绕过标准 I/O 缓存,直接让文件内容“变成”进程的虚拟内存,读写就像操作普通指针一样——不拷贝、不阻塞、效率高。

映射文件前先打开并获取大小

必须用 open() 以合适权限打开文件(如 O_RDONLY 或 O_RDWR),再用 fstat() 拿到真实大小。mmap() 的 length 参数不能随便估,必须准确,否则可能映射失败或越界。

  • 只读映射推荐用 PROT_READ + MAP_PRIVATE
  • 需要修改并同步回磁盘,用 PROT_READ | PROT_WRITE + MAP_SHARED
  • offset 必须是页对齐的(通常 getpagesize(),一般为 4096),不足时需向下取整并调整起始地址偏移

调用 mmap 获取映射地址

成功时返回指向映射内存的指针;失败返回 MAP_FAILED(即 (void*)-1),必须检查。不要用 nullptr 判断失败。

示例关键代码:

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

立即学习“C++免费学习笔记(深入)”;

int fd = open("data.bin", O_RDWR);
struct stat sb;
fstat(fd, &sb);
off_t offset = 0;
size_t length = sb.st_size;
<p>void<em> addr = mmap(nullptr, length, PROT_READ | PROT_WRITE,
MAP_SHARED, fd, offset);
if (addr == MAP_FAILED) {
perror("mmap failed");
close(fd);
return -1;
}
// 此时可直接 reinterpret_cast<uint8_t</em>>(addr)[i] 访问字节</p>

安全访问与边界控制

映射区域虽在虚拟内存中,但访问超出 length 仍会触发 SIGSEGV。尤其处理非对齐 offset 时,实际映射起点可能比文件开头早几个字节,读写前要手动计算有效偏移:

  • 若 offset = 1000,页大小=4096,则真实映射起始对应文件 offset 0,映射长度需扩展为 ≥ sb.st_size + 1000
  • 业务逻辑中访问位置 pos,应转为指针偏移:static_cast<char>(addr) + (pos - offset)</char>
  • 建议封装一个 RAII 类,在构造时映射、析构时 munmap + close,避免资源泄漏

修改后同步与解除映射

用 MAP_SHARED 时,修改内存默认不会立即写入磁盘。按需调用:

  • msync(addr, length, MS_SYNC):强制写回并等待完成
  • msync(addr, length, MS_ASYNC):发起写回但不等待
  • 最后必须调用 munmap(addr, length),否则内存泄漏;close(fd) 可在 munmap 后任意时机调用

不复杂但容易忽略

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

超级麦吉

一款通过数字员工协作完成调研、数据分析与文档制作的AI办公平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

相关专题

更多
javascriptvoid(o)怎么解决
javascriptvoid(o)怎么解决

javascriptvoid(o)的解决办法:1、检查语法错误;2、确保正确的执行环境;3、检查其他代码的冲突;4、使用事件委托;5、使用其他绑定方式;6、检查外部资源等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

636

2023.11.23

java中void的含义
java中void的含义

本专题整合了Java中void的相关内容,阅读专题下面的文章了解更多详细内容。

371

2025.11.27

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

379

2026.04.23

length函数用法
length函数用法

length函数用于返回指定字符串的字符数或字节数。可以用于计算字符串的长度,以便在查询和处理字符串数据时进行操作和判断。 需要注意的是length函数计算的是字符串的字符数,而不是字节数。对于多字节字符集,一个字符可能由多个字节组成。因此,length函数在计算字符串长度时会将多字节字符作为一个字符来计算。更多关于length函数的用法,大家可以阅读本专题下面的文章。

1927

2023.09.19

golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

650

2025.09.05

golang map相关教程
golang map相关教程

本专题整合了golang map相关教程,阅读专题下面的文章了解更多详细内容。

343

2025.11.16

golang map原理
golang map原理

本专题整合了golang map相关内容,阅读专题下面的文章了解更多详细内容。

533

2025.11.17

java判断map相关教程
java判断map相关教程

本专题整合了java判断map相关教程,阅读专题下面的文章了解更多详细内容。

303

2025.11.27

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

60

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn