讲师中心 微信公众号
AI工具推荐 视频效率加速

C++如何处理大文件读写?(内存映射与分块策略)

千墨同学_5393

千墨同学_5393

发布时间:2026-02-18 18:17:16

|

892人浏览过

|

来源于php中文网

原创

内存映射(mmap/MapViewOfFile)比fread快2–5倍,但需满足随机访问、少修改、容忍缺页延迟;小文件或未优化IO设置时反而更慢;须注意页对齐、跨平台释放差异及返回值校验。

c++如何处理大文件读写?(内存映射与分块策略)

内存映射比 fread 快,但不是所有场景都适用

直接用 mmap(Linux/macOS)或 CreateFileMapping(Windows)读大文件,本质是让内核把文件页“挂”进进程虚拟地址空间,避免用户态缓冲区拷贝。但前提是文件可随机访问、不频繁修改、且你愿意承担页面错误带来的延迟抖动。

  • 只读场景下,mmap + 指针偏移访问通常比循环 fread 快 2–5 倍;写入时若用 MAP_SHARED,脏页回写由内核异步完成,但崩溃可能丢数据
  • 小文件(mmap 启动开销反而更高;fread 配合 64KB–1MB 缓冲区更稳
  • Windows 上 CreateFileMapping 要求先用 CreateFile 打开文件,且 dwMaximumSizeHigh/Low 必须精确——传 0 会失败,得用 GetFileSize 先查大小

分块读写必须自己控制缓冲区边界

用 fread/fwrite 处理 GB 级文件时,系统默认 libc 缓冲(如 8KB)完全不够看,频繁 syscall 是性能杀手。关键不是“要不要分块”,而是“块大小和对齐怎么定”。

  • 推荐块大小设为 1MB(1024 * 1024),既避开大多数文件系统块大小(4KB/64KB),又适配 CPU cache line 和 TLB 容量
  • 读取时务必检查 fread 返回值:它可能少于请求字节数(EOF 或磁盘错误),不能假设“调用一次就读满”
  • 写入前用 fseek 定位时,若文件未提前 ftruncate 到目标长度,空洞区域在 Linux 上会填 0,在 Windows 上可能报错 Invalid argument

std::ifstream 在大文件上默认很慢,必须关同步

C++ 标准库流默认与 C stdio 同步(std::ios_base::sync_with_stdio(true)),每次 operator>> 都要锁 stdin/stdout,GB 文件可能慢 10 倍以上。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • 开头加一句 std::ios_base::sync_with_stdio(false),再禁用 cin.tie(nullptr),能逼近 fread 性能
  • 但 std::ifstream::read 仍走 libc 缓冲,别用 getline 或格式化输入(>>)解析二进制数据——它会逐字节扫描换行符,O(n) 变成 O(n²)
  • 若需按行处理文本大文件,改用 fgets + 自己管理缓冲区,或用 mmap 后 strchr 扫描,别信 std::getline 的“简洁”

跨平台 mmap 封装要注意页对齐和错误码

Linux 的 mmap 要求 offset 是页大小(getpagesize())整数倍;Windows 的 MapViewOfFile 要求 offset 是 64KB 对齐。硬写死 4096 会崩在 Windows 上。

立即学习“C++免费学习笔记(深入)”;

  • Linux 下用 sysconf(_SC_PAGESIZE) 获取真实页大小;Windows 下用 GetSystemInfo(&si); si.dwAllocationGranularity(通常是 64KB)
  • mmap 失败返回 MAP_FAILED(即 (void*)-1),不是 nullptr;Windows 下 MapViewOfFile 失败才返回 nullptr
  • 释放时,Linux 用 munmap,Windows 用 UnmapViewOfFile + CloseHandle(两次调用),漏掉任意一个都会泄漏句柄或内存

真正卡住人的从来不是“选 mmap 还是 fread”,而是 mmap 的 offset 对齐、Windows 句柄生命周期、以及 fread 返回值校验——这些点错一个,程序就静默出错或内存暴涨。

热门AI工具

更多
立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

相关专题

更多
fgets在c语言中的用法
fgets在c语言中的用法

本专题整合了c语言中fgets用法介绍,阅读专题下面的文章了解更多详细内容。

153

2025.08.27

javascriptvoid(o)怎么解决
javascriptvoid(o)怎么解决

javascriptvoid(o)的解决办法:1、检查语法错误;2、确保正确的执行环境;3、检查其他代码的冲突;4、使用事件委托;5、使用其他绑定方式;6、检查外部资源等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

636

2023.11.23

java中void的含义
java中void的含义

本专题整合了Java中void的相关内容,阅读专题下面的文章了解更多详细内容。

371

2025.11.27

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

379

2026.04.23

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3419

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2958

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

1528

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2699

2023.08.02

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

20

2026.11.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn