讲师中心 微信公众号
AI工具推荐 视频效率加速

c++怎么限制文件的读取大小_防止内存溢出OOM【避坑】

浅晨吖_1425

浅晨吖_1425

发布时间:2026-03-21 20:10:00

|

649人浏览过

|

来源于php中文网

原创

必须先用stat/fstat或GetFileSizeEx检查文件大小再fread,否则易OOM;分块读需累加gcount()校验总字节数;mmap仍可能触发OOM;Boost.Iostreams需手动加limiting_filter并前置stat。

c++怎么限制文件的读取大小_防止内存溢出oom【避坑】

用 fread 读文件前必须检查文件大小

直接 fread 读整个文件进内存,是 C++ 里最常见 OOM 原因之一。系统不会替你判断文件是否超限,它只管按你给的 buffer 大小和 count 去拷贝——哪怕文件有 10GB,fread 也照读不误,直到 malloc 失败或进程被 OOM killer 干掉。

实操建议:

  • 用 stat() 或 fstat() 先查 st_size,再跟你的上限(比如 10MB)比对,超了就拒绝读取
  • Windows 下用 GetFileSizeEx(),别信 GetFileSize() 的高位截断 bug
  • 注意符号问题:st_size 是 off_t,可能为负(比如设备文件),要先判非负再比较
  • 不要用 ftell(fseek(file, 0, SEEK_END)) 获取大小——对管道、socket、/proc 文件会失败或返回 0

std::ifstream 配合 gcount() 分块读更安全

std::ifstream::read() 本身不校验目标 buffer 容量,但配合 gcount() 能实时知道本次读了多少字节,这是控制总读取量的关键。

常见错误现象:用 read(buf, 1024*1024) 循环读,却没在每次读完后累加并检查累计值,结果最后一块虽不足 1MB,但加起来仍超限。

立即学习“C++免费学习笔记(深入)”;

实操建议:

  • 预设最大允许字节数(如 const size_t MAX_READ = 10 * 1024 * 1024)
  • 每次 read() 后立刻调 gcount(),累加到已读计数器;一旦累计 ≥ MAX_READ,立刻 break 并 close 流
  • 注意 gcount() 返回的是上一次 read() 实际读到的字节数,不是剩余可读量
  • 如果文件编码不确定(比如含 BOM 或 UTF-8 多字节),别用字符计数代替字节计数——限制必须基于字节

mmap 不等于安全,MAP_PRIVATE 仍可能触发 OOM

有人觉得用 mmap 就不用怕 OOM,其实错得离谱。Linux 下 mmap 默认是 MAP_PRIVATE,看似“懒加载”,但当进程真正访问某页时,内核仍需分配物理页——如果映射了 5GB 文件,又逐页 touch,照样被 OOM killer 瞄准。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

使用场景:仅适合你明确需要随机访问大文件某几块、且能严格控制访问范围的情况。

实操建议:

  • 永远用 open() + fstat() 检查文件大小,再决定是否 mmap
  • 避免 PROT_WRITE + MAP_SHARED 映射超大文件,写入会同步刷盘并放大内存压力
  • 读取后记得 munmap(),别依赖析构——RAII 封装时也要确保异常安全
  • macOS 上 mmap 对超大文件可能直接失败(ENOMEM),不如老实用分块 read

第三方库(如 Boost.Iostreams)默认不限流,得手动套 limiting_filter

Boost.Iostreams 的 file_source 或 mapped_file_source 本身不带大小限制,很多人以为用了库就自动防护,结果还是 OOM。

性能影响:加一层 limiting_filter 几乎无开销,但能硬性截断;不过它只限制“从 source 读出的字节数”,不阻止底层打开超大文件,所以仍需前置 stat。

实操建议:

  • 构造 boost::iostreams::filtering_istream 时,先 push boost::iostreams::limiting_filter(MAX_READ)
  • 再 push boost::iostreams::file_source("xxx", std::ios_base::in | std::ios_base::binary)
  • 注意 limiting_filter 在 read() 返回 0 后会抛 boost::iostreams::stream_error,要捕获而不是忽略
  • 别混用 std::getline() 和 limiting_filter——换行符可能卡在边界,导致实际读取略超限

真正难防的不是大文件本身,而是文件描述符泄漏后反复 open 同一个超大文件;或者把限制逻辑写在业务层却忘了在异常路径里清理 buffer。这些地方一漏,前面所有检查都白搭。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
counta和count的区别
counta和count的区别

Count函数用于计算指定范围内数字的个数,而CountA函数用于计算指定范围内非空单元格的个数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2928

2023.11.20

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2118

2023.09.20

java中break的作用
java中break的作用

本专题整合了java中break的用法教程,阅读专题下面的文章了解更多详细内容。

2560

2025.10.15

java break和continue
java break和continue

本专题整合了java break和continue的区别相关内容,阅读专题下面的文章了解更多详细内容。

727

2025.10.24

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3179

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2738

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

1468

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2519

2023.08.02

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

60

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn