讲师中心 微信公众号
AI工具推荐 视频效率加速

C++如何处理大文件读取?(内存映射mmap用法)

落枫同学_2223

落枫同学_2223

发布时间:2026-03-02 07:27:22

|

924人浏览过

|

来源于php中文网

原创

mmap 比 fread 适合读大文件,因其按需映射、避免大块内存分配和冗余拷贝,尤其适用于只读或稀疏访问的 GB 级文件;但全量顺序读时可能因缺页中断变慢,此时 read + 预读更优。

c++如何处理大文件读取?(内存映射mmap用法)

为什么 mmap 比 fread 适合读大文件

因为 mmap 不把整个文件一次性拷贝进用户内存,而是让内核按需把磁盘页映射到进程地址空间。你访问哪段,内核才加载哪段,避免了 malloc + fread 的大块内存分配和冗余拷贝。尤其对 GB 级日志、数据库快照、二进制数据集这类只读或稀疏访问的场景,延迟更低、系统开销更小。

但注意:mmap 不是万能加速器——如果文件远大于物理内存,且你顺序扫全量内容,mmap 反而可能因频繁缺页中断拖慢速度;这时候 read(2) 配合预读(posix_fadvise(fd, 0, 0, POSIX_FADV_WILLNEED))更稳。

mmap 最简安全用法(Linux / macOS)

核心就三步:打开文件 → 获取大小 → 映射。关键不是“怎么写”,而是“怎么避错”:

  • open() 必须带 O_RDONLY(只读)或 O_RDWR(可写),不能用 O_APPEND 或 O_TRUNC
  • 映射前务必用 fstat() 拿真实文件大小,别信 lseek(fd, 0, SEEK_END) —— 对某些特殊文件(如设备节点、/proc 下文件)会失败或返回 0
  • mmap() 返回 MAP_FAILED 时,必须检查 errno:EINVAL(offset 未按页对齐)、ENOMEM(虚拟地址空间不足,不是内存不够)、EPERM(文件不可执行且 noexec 挂载选项启用)
  • 映射后记得 munmap(),否则泄漏的是虚拟内存(不是物理内存),但会耗尽进程地址空间(尤其在 32 位或受限容器里)

示例片段:

立即学习“C++免费学习笔记(深入)”;

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
int fd = open("data.bin", O_RDONLY);
struct stat st;
fstat(fd, &st);
void* ptr = mmap(nullptr, st.st_size, PROT_READ, MAP_PRIVATE, fd, 0);
if (ptr == MAP_FAILED) { /* 处理 errno */ }
// 使用 ptr 当作普通指针读取
munmap(ptr, st.st_size);
close(fd);

Windows 上没 mmap 怎么办

Windows 没原生 mmap,但有语义等价的 CreateFileMapping + MapViewOfFile。别硬套 Linux 写法,重点差异在:

  • 文件句柄必须用 GENERIC_READ 打开,且 CreateFileMapping 的 flProtect 要匹配:只读用 PAGE_READONLY,可写用 PAGE_READWRITE
  • 映射大小不能超过文件实际长度,且 MapViewOfFile 的 dwNumberOfBytesToMap 若为 0,表示映射全部(Linux 下 mmap 的 length 为 0 是非法的)
  • 错误判断靠 GetLastError(),常见 ERROR_MAPPED_FILE(文件被其他进程以不兼容方式打开)、ERROR_NOT_ENOUGH_MEMORY(不是物理内存不足,而是用户模式地址空间碎片化)

跨平台代码建议封装一层,比如用宏区分:#ifdef _WIN32 走 Windows API,否则走 mmap。

映射后访问越界或 SIGBUS 怎么办

SIGBUS 是 mmap 最典型的运行时错误,根本原因是访问了未映射的地址——不是空指针那种崩溃,而是内核直接发信号终止进程。常见原因:

  • 文件在映射后被截断(ftruncate)或删除(unlink),导致后续访问对应页时缺页失败
  • 映射时用了 MAP_SHARED,但文件被其他进程并发修改,破坏了页对齐假设
  • 用 sizeof(struct) 计算结构体数组偏移,但结构体有 padding,跨页边界时部分字段落在未映射区域
  • 忘了 st.st_size 是字节数,却当成“元素个数”去循环访问(比如 for (int i=0; i<size; i++) arr[i],但 arr 是 uint64_t*)

调试技巧:用 gdb 捕获 SIGBUS,然后 info proc mappings 看当前映射范围;生产环境建议加 sigaction 捕获并记录 si_addr(出错地址)与 /proc/self/maps 对比。

真正麻烦的不是映射本身,是文件生命周期和内存访问模式的耦合——一旦文件被外部工具轮转、压缩或清空,mmap 区域就变成定时炸弹。

热门AI工具

更多
Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

4694

2025.06.09

golang结构体方法
golang结构体方法

本专题整合了golang结构体相关内容,请阅读专题下面的文章了解更多。

4851

2025.07.04

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

6339

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3065

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

3968

2025.08.29

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

2745

2025.08.29

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

359

2026.04.23

length函数用法
length函数用法

length函数用于返回指定字符串的字符数或字节数。可以用于计算字符串的长度,以便在查询和处理字符串数据时进行操作和判断。 需要注意的是length函数计算的是字符串的字符数,而不是字节数。对于多字节字符集,一个字符可能由多个字节组成。因此,length函数在计算字符串长度时会将多字节字符作为一个字符来计算。更多关于length函数的用法,大家可以阅读本专题下面的文章。

1847

2023.09.19

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

60

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn