讲师中心 微信公众号
AI工具推荐 视频效率加速

c++如何高效读取大文件 c++ mmap内存映射技术【技巧】

千婷吖_9295

千婷吖_9295

发布时间:2026-01-10 11:13:02

|

1067人浏览过

|

来源于php中文网

原创

mmap 是 C++ 读取大文件最高效手段之一,因其避免多次系统调用与内存拷贝,通过虚拟内存映射实现按需加载和 O(1) 随机访问,配合 page cache 提升重复读取性能。

c++如何高效读取大文件 c++ mmap内存映射技术【技巧】

用 mmap 读取大文件是 C++ 中最高效的手段之一,尤其适合只读、随机访问或需要处理 GB 级以上文件的场景。它避免了传统 read() 或 std::ifstream 的多次系统调用和内存拷贝,直接将文件“映射”进进程地址空间,让读取变成指针访问。

为什么 mmap 比传统读取快?

核心优势在内核层面: mmap 不复制文件内容到用户缓冲区,而是建立虚拟内存页与磁盘页的映射关系;真正访问某段数据时才按需触发缺页中断并加载(lazy loading);操作系统还自动管理缓存(page cache),重复读取不走磁盘。

对比:std::ifstream 逐块 read + memcpy,小块读取开销大;大 buffer 又占内存且无法跳转;而 mmap 支持 O(1) 随机定位,比如直接 data[1024*1024*100] 访问第 100MB。

基础 mmap 用法(Linux/macOS)

关键步骤:打开文件 → 获取大小 → mmap 映射 → 使用 → munmap + close

立即学习“C++免费学习笔记(深入)”;

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限

下载
  • 用 open() 以 O_RDONLY 打开,避免写时拷贝(COW)开销
  • 用 lseek() + read() 或 stat() 精确获取文件大小(mmap 需指定长度)
  • mmap(nullptr, len, PROT_READ, MAP_PRIVATE, fd, 0):推荐 MAP_PRIVATE(只读映射,写操作会触发 SIGBUS,安全)
  • 映射成功后,返回指针可像数组一样访问,例如解析二进制结构体:auto hdr = reinterpret_cast<header>(mapped_ptr);</header>
  • 务必检查返回值是否为 MAP_FAILED,并用 munmap() 释放映射(不释放不会泄露,但浪费虚拟地址空间)

Windows 上等效方案:CreateFileMapping + MapViewOfFile

Windows 没有 mmap,但语义一致:

  • CreateFile 打开文件(GENERIC_READ + FILE_SHARE_READ)
  • CreateFileMapping 创建映射对象(PAGE_READONLY)
  • MapViewOfFile 获取可访问指针(类似 mmap 返回值)
  • 用完调 UnmapViewOfFile 和 CloseHandle(顺序不能反)

跨平台可封装一层宏或工具类,判断 _WIN32 或 __linux__ 分支处理。

实用技巧与避坑点

不是所有情况都适合 mmap: 小文件(MAP_SHARED(同步到磁盘代价高);32 位程序注意虚拟地址空间不足(建议 64 位编译)。

  • 想提升启动速度?用 madvise(ptr, len, MADV_WILLNEED) 提前通知内核预读(Linux)
  • 读完就扔?MADV_DONTNEED 让内核回收物理页(不释放虚拟地址)
  • 确保文件不被外部修改:映射期间其他进程 truncate 或 write 可能导致 SIGBUS —— 只读打开 + 文件权限控制更稳妥
  • C++ RAII 封装很必要:用 unique_ptr 配合自定义 deleter(调 munmap),避免裸指针泄漏

不复杂但容易忽略:mmap 是高效工具,不是银弹。用对场景、配合适当提示、做好错误检查,就能稳定扛住几十 GB 日志或数据文件的快速解析任务。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

4934

2025.06.09

golang结构体方法
golang结构体方法

本专题整合了golang结构体相关内容,请阅读专题下面的文章了解更多。

5091

2025.07.04

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

379

2026.04.23

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3299

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2878

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

1508

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2619

2023.08.02

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3330

2023.08.08

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

100

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn