讲师中心 微信公众号
AI工具推荐 视频效率加速

c++如何实现文本文件的全文搜索_KMP算法在流中的应用【进阶】

酷明大大_4281

酷明大大_4281

发布时间:2026-03-29 18:37:44

|

1013人浏览过

|

来源于php中文网

原创

因文件流不支持指针回退,KMP需缓存滑动窗口;须用vector<char>避免null截断,按字节处理编码,I/O与拷贝才是性能瓶颈。

c++如何实现文本文件的全文搜索_kmp算法在流中的应用【进阶】

为什么不能直接把 KMP 的 build_lps 和 search 套用在文件流上

因为标准 KMP 算法假设文本可随机访问、能回退指针,而 std::ifstream(尤其以 std::ios::binary 或大文件流式读取时)不支持任意 seek,更无法“把读过的内容悄悄塞回去”。一旦用 get() 或 read() 吃掉一个字节,它就没了——除非你缓存。这是最常卡住人的地方。

实操建议:

立即学习“C++免费学习笔记(深入)”;

  • 必须自己维护一个滑动窗口缓冲区,大小至少为 pattern.length() + 1,否则 LPS 匹配逻辑会断掉
  • 不要试图对 std::istream& 做原地 KMP;先读块、再查块、再滑动,才是可行路径
  • 如果模式含 null 字节('\0'),别用 std::string 当缓冲区——改用 std::vector<char>,避免被误截断

如何用 std::vector<char> 实现带重叠的流式 KMP 搜索

核心是让缓冲区像“滚动胶带”:每次读新数据追加到尾部,匹配后只丢弃已确认不可能参与后续匹配的前缀(靠 LPS 数组算出最大可保留后缀长度)。

实操建议:

立即学习“C++免费学习笔记(深入)”;

  • 初始化缓冲区大小为 pattern.size(),用 reserve() 避免反复 realloc
  • 每次调用 stream.read(buf.data() + buf.size(), chunk_size) 前,先检查 buf.size() + chunk_size <= max_buffer_size,否则先 trim
  • trim 逻辑不是清空,而是:buf.erase(buf.begin(), buf.begin() + safe_offset),其中 safe_offset = buf.size() - lps.back()(假设模式已完全匹配过一次)
  • 匹配函数要接受 const std::vector<char>& text 和 size_t start_pos,避免拷贝整块缓冲区

示例关键片段:

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
int pos = kmp_search_in_buffer(pattern, buf, last_match_end);
if (pos != -1) {
    result_positions.push_back(global_offset + pos);
    last_match_end = pos + 1; // 允许重叠匹配
}

std::locale 和多字节编码会让 KMP 失效吗

会,但不是 KMP 本身的问题——是你把字节序列当字符序列用了。KMP 是字节级算法,"café" 在 UTF-8 下是 5 字节(c a f é → c a f c 3a),若搜索字符串 "é"(2 字节),而你用 std::string::find 或手动按 char 走,结果正确;但若错误地用 wstring + wchar_t 混合读取 UTF-8 文件,LPS 构建和比较全乱。

实操建议:

立即学习“C++免费学习笔记(深入)”;

  • 明确文件编码,KMP 只处理 raw bytes;UTF-8 就按 byte 流走,别转 std::wstring
  • 若必须支持宽字符(如 Windows 上读 UTF-16),则整个 pipeline 改用 std::vector<wchar_t>,且 pattern 和 buffer 类型严格一致
  • 用 std::codecvt_utf8<wchar_t> 转码?别。它已 deprecated;改用 std::from_chars 或第三方库如 ICU / utf8cpp 做预处理

性能瓶颈通常不在 kmp_search,而在 I/O 和内存拷贝

实测显示:对 1GB 文件做单模式搜索,KMP 内核耗时往往 read() + vector::insert() 占 90%+。尤其当 chunk_size 设得太小(如 1KB),系统调用开销爆炸。

实操建议:

立即学习“C++免费学习笔记(深入)”;

  • chunk_size 至少设为 64KB(4096 * 16),兼顾 cache line 和 syscall 效率
  • 用 std::vector::resize() 预分配缓冲区,而非 push_back();后者在频繁增长时触发多次 memcpy
  • 如果搜索多个 pattern,别重复构建 LPS——把 lps 缓存为 static const std::vector<int>,前提是 pattern 不变
  • 考虑 mmap:对大文件,std::ifstream 不如 open() + mmap() 快,但需处理平台差异(Windows 用 CreateFileMapping)

真正难的不是 KMP 怎么写,是怎么让缓冲区管理既不漏匹配、又不爆内存、还扛得住 GB 级文件的碎片读取——这些细节没压对,算法再漂亮也卡在硬盘上。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

6439

2023.08.02

c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

549

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

1678

2024.03.01

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2218

2023.09.20

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1758

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2724

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

6084

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

5729

2023.11.24

Playwright 测试失败怎么办
Playwright 测试失败怎么办

Playwright测试失败专题汇集超时、定位器匹配、浏览器提前关闭、依赖与插件配置、文件上传、SSL及Docker启动等故障文章,并介绍通过截图、报告和Trace定位错误。

0

2026.10.21

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn