讲师中心 微信公众号
AI工具推荐 视频效率加速

c++怎么高效复制大型二进制文件_文件流分块读写【进阶】

风静大大_6791

风静大大_6791

发布时间:2026-03-18 21:43:03

|

484人浏览过

|

来源于php中文网

原创

分块读写推荐64KB缓冲区;必须显式设置ios_base::binary且打开时指定;错误需分层处理;mmap仅在内存充足且单次冷启动时优于分块读写。

c++怎么高效复制大型二进制文件_文件流分块读写【进阶】

用 std::ifstream 和 std::ofstream 分块读写时,缓冲区大小设多少合适

默认流缓冲区(std::streambuf 内部)通常只有几百字节,对大文件复制就是灾难——系统调用太频繁,read()/write() 次数爆炸,CPU 花在上下文切换上比实际搬运数据还多。

实操建议:直接绕过流缓冲,用自定义缓冲区 + readsome() 或 read() + write(),缓冲区大小选 64KB(65536)或 128KB 是多数场景的甜点:

  • 65536 兼容性好,几乎所有平台、文件系统、磁盘队列深度都能吃住
  • 再大(如 1024*1024)在某些嵌入式或低内存环境可能触发分配失败,或让 page cache 压力陡增
  • 别迷信“越大越好”——Linux 的 copy_file_range() 在内核态做零拷贝时,反而对 128KB~1MB 更友好,但 C++ 标准库不暴露该接口

为什么 ios_base::binary 必须显式设置,且不能只设一次

不加 ios_base::binary,Windows 下会把 \x0A 自动转成 \x0D\x0A,Linux/macOS 虽不转换,但部分 libc 实现仍可能因换行符检测逻辑引入额外开销;更隐蔽的问题是:一旦流打开后修改 binary 模式,std::fstream 不保证行为可预测——有些实现会忽略后续 setf() 调用。

实操建议:打开文件时就定死模式,不要复用流对象跨文本/二进制场景:

立即学习“C++免费学习笔记(深入)”;

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • 用 std::ifstream src{path, std::ios_base::binary},不是 std::ifstream src; src.open(path, std::ios_base::binary)
  • 同理,目标文件也必须用 std::ofstream dst{dst_path, std::ios_base::binary | std::ios_base::out}
  • 如果要复用同一个 std::ofstream 对象写多个文件,每次 open() 前必须先 close(),再带完整标志重开

遇到 failbit 或 badbit 后,怎么安全继续而不是崩溃

大文件复制中,read() 返回 0 表示 EOF,但返回负值或 !src.good() 触发时,可能是磁盘满、权限丢失、NFS 连接中断等真实错误——此时若直接 throw 或 exit(),上层没法清理临时文件或回滚状态。

实操建议:按错误类型分层处理,不依赖 exceptions() 全局开关(它会让所有流操作都抛异常,得不偿失):

  • 检查 src.gcount() == 0 && src.eof() → 正常结束,跳出循环
  • 检查 src.fail() 且 !src.bad() → 可能是格式问题(比如误开了文本模式),尝试 clear() 并跳过当前块(慎用,仅限已知可恢复场景)
  • 检查 src.bad() 或 dst.fail() → 立即停止,dst.close(),返回错误码,由调用方决定是否删除已写入的目标文件

用 mmap 替代流读写真的更快吗?什么情况下反而更慢

对超大文件(>1GB),mmap + memcpy 看似零拷贝,但实际受制于物理内存和 page fault 开销:首次访问 mmap 区域会触发缺页中断,若文件远大于可用 RAM,内核疯狂 swap,性能断崖下跌。

实操建议:只在明确满足以下条件时考虑 mmap:

  • 目标平台确定支持 MAP_POPULATE(Linux)或 FILE_MAP_LARGE_PAGES(Windows),能预加载物理页
  • 文件大小 ≤ 可用空闲 RAM 的 70%,且进程无其他大内存占用
  • 复制是单次、冷启动场景(比如安装程序解压),而非高频小文件批量处理
  • 否则,老老实实用 64KB 分块 + read()/write(),稳定性和可预测性高得多

真正容易被忽略的是:哪怕用了 mmap,写入目标文件仍需 msync() 或 munmap() 触发落盘,而标准流的 close() 会隐式 flush —— 这个同步时机差,可能让“快”的假象在数据持久化层面崩掉。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

3228

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

5329

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3869

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

486

2026.01.19

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3419

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2978

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

1528

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2699

2023.08.02

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

0

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn