讲师中心 微信公众号
AI工具推荐 视频效率加速

c++怎么在不加载全量数据的前提下提取超大文件的最后十行内容【详解】

雨婷吖_6779

雨婷吖_6779

发布时间:2026-03-29 19:48:30

|

783人浏览过

|

来源于php中文网

原创

真正可行的路径是不加载内容而仅移动文件指针,从末尾倒序扫描'\n',数够10个即停;需用二进制模式打开、处理空文件/单行/连续换行等边界,并记录行起始位置后批量读取。

c++怎么在不加载全量数据的前提下提取超大文件的最后十行内容【详解】

fseek 从文件末尾倒着找换行符

直接读整个超大文件(比如几十 GB 的日志)再用 std::vector 存所有行,内存会爆。真正可行的路径是:不加载内容,只移动文件指针,从末尾往前扫描 '\n',数够 10 个就停。

关键点在于:Linux/macOS 下文本文件以 '\n' 结尾,但最后一行可能没换行符;Windows 是 "\r\n",但多数现代工具(包括 C++ 标准库)在文本模式下会自动转换,所以统一按 '\n' 处理更稳妥——前提是用二进制模式打开,避免意外转换干扰位置计算。

  • 必须用 std::ios::binary 模式打开,否则 fseek 在 Windows 上对文本文件行为不可靠
  • 文件为空或只有一行时,fseek(fp, -1, SEEK_END) 可能越界,得先 fstatseekg(0, std::ios::end) 拿总长度做保护
  • 遇到 EOF 前连续多个 '\n'(比如空行),要跳过,否则会把空行也算作“一行”

手动实现倒序扫描的边界处理逻辑

标准库没有现成函数支持“倒着读行”,std::getline 只能正向。你得自己写循环:从末位开始,每次 fseek(..., -1, SEEK_CUR),读一个字节,判断是不是 '\n'。难点不在循环,而在三类边界:

  • 文件长度为 0 → 直接返回空容器
  • 文件长度为 1,且内容不是 '\n' → 整个文件就是最后一行
  • 扫描到文件开头还没凑够 10 行 → 停止,返回已找到的所有行(可能少于 10)

别用 std::string::push_back 累积字符再反转——每读一个字节就往字符串头插,性能差。正确做法是把每个“行起始位置 + 长度”存下来,最后一次性 freadseekg + read 提取。

立即学习C++免费学习笔记(深入)”;

C++
C++

"空空如也"

下载

std::ifstream 配合 seekg 的实际写法示例

下面这段代码能跑通,也覆盖了常见坑:

std::vector<std::string> tail_n_lines(const std::string& path, int n = 10) {
    std::ifstream file(path, std::ios::binary);
    if (!file.is_open()) return {};
<pre class='brush:php;toolbar:false;'>file.seekg(0, std::ios::end);
std::streampos end_pos = file.tellg();
if (end_pos == 0) return {};

std::vector<std::string> result;
std::string line;
char c;
int newline_count = 0;
std::streampos pos = end_pos;

// 从末尾往前扫,跳过末尾可能的 '\n'
while (pos > 0 && newline_count < n) {
    --pos;
    file.seekg(pos);
    file.read(&c, 1);
    if (c == '\n') {
        if (pos == end_pos - 1) continue; // 忽略文件末尾的换行
        if (newline_count == 0 || pos != prev_newline_pos - 1) {
            ++newline_count;
            prev_newline_pos = pos;
            // 此时 [pos+1, next_newline_or_end) 就是一行
            file.seekg(pos + 1);
            std::getline(file, line);
            result.push_back(line);
        }
    } else if (pos == 0) {
        // 扫到开头,当前行就是第一行(也是最后一行)
        file.seekg(0);
        std::getline(file, line);
        result.push_back(line);
        break;
    }
}

std::reverse(result.begin(), result.end());
return result;

}

注意:std::getline 在二进制模式下仍可用,它只依赖 '\n' 字节,不关心换行符编码。但上面示例里 prev_newline_pos 需要声明为局部变量,真实使用时记得补全。

为什么不用 tail -n 10 调用外部命令

看起来省事,但有几个硬伤:

  • 跨平台失效:Windows 没原生 tail,得额外打包或依赖第三方
  • 进程启动开销大:对高频调用场景(比如监控程序每秒查一次),fork + exec 明显慢于纯内存扫描
  • 权限与路径问题:system()popen() 可能被沙箱禁用,路径含空格或特殊字符时容易出错
  • 无法精确控制缓冲区和错误码:比如文件被其他进程截断,tail 可能静默失败,而你自己控制 fseek 能立刻拿到 ferror()

真正难的不是算法,是想清楚“最后一行”在不同操作系统、不同编辑器保存习惯下的物理表现——它可能没 '\n',可能有多个 '\n' 连续出现,也可能文件刚被截断。这些细节不处理,tail 函数上线后就会在某个凌晨三点默默吐异常。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

5119

2023.08.02

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1538

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2204

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

5704

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

4749

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

6494

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

8654

2024.04.29

go语言字符串相关教程
go语言字符串相关教程

本专题整合了go语言字符串相关教程,阅读专题下面的文章了解更多详细内容。

4379

2025.07.29

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

0

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn