讲师中心 微信公众号
AI工具推荐 视频效率加速

c++如何实现大文件的首尾部分快速预览读取【技巧】

夏枫酱_2775

夏枫酱_2775

发布时间:2026-04-07 22:31:46

|

126人浏览过

|

来源于php中文网

原创

不能直接用fopen+fread读大文件,因内存不足且无需全文;应通过fseek/mmap定位首尾并按换行符对齐读取,支持UTF-8和可配置分隔符。

c++如何实现大文件的首尾部分快速预览读取【技巧】

为什么不能直接用 fopen + fread 读整个大文件?

因为内存扛不住,比如一个 20GB 的日志文件,fread 试图一次性读进内存会触发 std::bad_alloc 或直接被 OS 杀掉。更关键的是——你根本不需要全部内容,只看开头几行和结尾几行。所以得绕过“加载全文”这个动作,用偏移跳转+局部读取代替。

用 fseek + fread 定位首部内容(注意换行对齐)

首部相对简单,但别直接 fseek(fp, 0, SEEK_SET) 然后读固定字节数——如果截断点卡在中文、UTF-8 多字节字符中间,或正好切在换行符中间,显示就会乱码或不完整。正确做法是:先读一段(比如 4KB),再从缓冲区里找最后一个完整换行位置。

  • 设定预览长度目标(如前 2000 字节),但实际读取略多(如 4096 字节)留出找换行的余地
  • 用 memrchr(buf, '\n', read_len) 或手动倒序扫描找最后一个 '\n'
  • 若没找到换行,说明文件开头就没换行(比如单行超长),那就用实际读到的长度
  • 确保 buf 末尾加 '\0',避免 printf 或 std::string 构造越界

用 fseek + 倒序扫描定位尾部内容(避开 SEEK_END 的陷阱)

fseek(fp, -N, SEEK_END) 看似方便,但问题很多:Windows 下文本模式会错乱;某些文件系统(如 NFS)不支持负偏移;而且你想要的是“最后 N 行”,不是“最后 N 字节”。所以必须自己实现“从末尾往前找第 K 个换行符”。

C++ Code Review Master
C++ Code Review Master

组合式C++代码评审方案,融合静态分析、AI推理、多轮迭代评审和C++专项检查,适用于PR审查、增量代码审查、全项目评审和代码质量评分,触发词包括review cpp、cpp代码评审、C++review、代码审查。

下载
  • 先 fseek(fp, 0, SEEK_END) 获取文件总大小 file_size
  • 从 file_size - 1 开始向前逐字节读(用 fseek + fgetc 或 mmap 小块映射),统计 '\n' 个数
  • 遇到第 K+1 个 '\n' 时停止,下一个字节就是最后一行的起始位置
  • 注意处理文件末尾无换行符的情况(最后一行可能没 '\n'),需额外判断 pos == 0 时是否已到开头
  • 如果文件小于预设缓冲区(如 64KB),直接读全量更安全,避免空循环

用 mmap 提升随机访问性能(Linux/macOS)

对几十 GB 文件反复做多次 fseek + 小读取,系统调用开销明显。用 mmap 把文件虚拟映射进来,首尾读取就变成指针运算,快一个数量级,且天然支持任意字节偏移。

立即学习“C++免费学习笔记(深入)”;

  • Linux 下用 mmap(nullptr, len, PROT_READ, MAP_PRIVATE, fd, 0),注意 len 要 ≤ 文件大小
  • 首部:直接取 mapped_ptr 开头,找第一个换行后截断
  • 尾部:从 mapped_ptr + file_size - 1 往前扫描换行,逻辑同上但无需 fseek
  • 务必检查 mmap 返回值是否为 MAP_FAILED,小内存机器可能映射失败
  • Windows 对应用 CreateFileMapping + MapViewOfFile,API 更啰嗦,但原理一致

真正难的不是读哪段,而是怎么定义“一行”——二进制文件没有换行,日志可能用 \r\n,而某些导出数据用 \0 分隔。预览逻辑必须可配置分隔符,且默认行为要对 UTF-8 友好,别一上来就按单字节切。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

5759

2023.08.02

printf用法大全
printf用法大全

php中文网为大家提供printf用法大全,以及其他printf函数的相关文章、相关下载资源以及各种相关课程,供大家免费下载体验。

708

2023.06.20

fprintf和printf的区别
fprintf和printf的区别

fprintf和printf的区别在于输出的目标不同,printf输出到标准输出流,而fprintf输出到指定的文件流。根据需要选择合适的函数来进行输出操作。更多关于fprintf和printf的相关文章详情请看本专题下面的文章。php中文网欢迎大家前来学习。

1009

2023.11.28

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

339

2026.04.23

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3119

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2678

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

1448

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2459

2023.08.02

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

100

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn