讲师中心 微信公众号
AI工具推荐 视频效率加速

c++如何统计文本文件中出现频率最高的TOP10单词【实战】

胖枫君_9914

胖枫君_9914

发布时间:2026-03-31 19:08:01

|

1029人浏览过

|

来源于php中文网

原创

用std::map累计单词频次需边读文件边切词转小写:遇字母开始新词,非字母结束并清洗,用std::tolower逐字符转小写后插入map[word]++;避免stringstream按空白分割导致标点混入。

c++如何统计文本文件中出现频率最高的top10单词【实战】

怎么用 std::map 累计单词频次,又不漏词不分大小写

核心是:读文件时边切词边转小写,再塞进 std::map<:string int></:string>。别等全读完再处理——内存浪费、逻辑绕、还容易把连字符、标点混进单词里。

常见错误现象:"File" 和 "file" 被当两个词;"file."(带句点)没被清洗,导致统计失真。

  • 用 std::isalpha() 判断字母,跳过所有非字母字符(空格、逗号、句点、引号等)
  • 每识别出一个连续字母序列,立刻用 std::tolower() 逐字符转小写,再插入 mapWord[word]++
  • 别用 std::stringstream >> 直接读——它按空白分割,但会把 "don't" 拆成 "don't"(正确)或误吞单引号;手动扫描更可控

为什么不能直接对 std::map 按 value 排序

std::map 只支持按 key(即单词)排序,天生不支持按频次(value)排。硬要“排序”,就得把数据倒腾出来——这是必须走的一步,不是优化可绕开的。

性能影响:如果文本有 5 万个不同单词,map 插入本身是 O(log n),但后续导出到 std::vector 再按频次+字典序排序,整体仍是 O(n log n),可接受。

立即学习“C++免费学习笔记(深入)”;

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • 导出时用 std::vector<std::pair<std::string, int>>,避免拷贝 string 内容(C++11 后 move 语义已优化)
  • 排序用 std::sort + 自定义 lambda:[&](const auto& a, const auto& b) { return a.second != b.second ? a.second > b.second : a.first < b.first; }(频次降序,相同频次字典升序)
  • 别写 map<int, vector<string>> 倒排——看似省排序,但插入复杂度高、内存碎片多,且破坏原始单词唯一性

std::priority_queue 能不能只存 TOP10,省空间

能,但得小心——标准 std::priority_queue 默认最大堆,而我们要的是“最小频次在顶上”,好随时踢掉小的、留下大的。所以必须自定义比较器,且注意相同频次时字典序的处理逻辑不能丢。

使用场景:处理超大文件(如百 MB 英文维基 dump),内存受限,且确定只需 TOP10;普通作业或几 MB 文本,用 vector 排序更直观、不易错。

  • 定义堆:std::priority_queue<std::pair<int, std::string>, std::vector<...>, std::greater<>> —— 注意是 pair<count, word>,不是 <word, count>
  • 插入前检查堆 size:若 size == 10 且当前 count <= top().first,则跳过;否则 push 并 pop 顶上那个
  • 坑点:相同频次时,std::greater 只比 first(count),不会自动比 second(word)。必须封装成自定义 struct 或用 tuple + 更细粒度比较器

文件读取和单词切分最容易崩在哪几个地方

不是语法错,而是边界逻辑错:换行符处理、EOF 判定、单字符单词(如 “a”、“I”)、连字符(“state-of-the-art”)、撇号(“don’t”, “it’s”)。

真实错误信息示例:std::ifstream::eof() returns true only after failed read —— 这意味着你不能写 while (!f.eof()) { f >> s; ... },末尾会多处理一次。

  • 推荐模式:用 while (f.get(ch)) 或 while (std::getline(f, line)) 逐字符/逐行处理,主动控制状态机
  • 单词起始判断:遇到字母就开新词;非字母就结束当前词(哪怕只一个字母)并清洗插入
  • 对撇号(')特殊处理:只保留在词中段的(如 don't),开头结尾的(如 'tis, foo')应截断——按主流英语词典规范,这不是合法单词
实际跑通的关键,往往卡在标点清洗不干净或大小写转换漏了某个分支。宁可多写两行 if (ch >= 'A' && ch <= 'Z') ch += 32;,也别依赖 locale 处理——不同平台默认 locale 不一致,std::tolower 可能返回负值或崩溃。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

5919

2023.08.02

counta和count的区别
counta和count的区别

Count函数用于计算指定范围内数字的个数,而CountA函数用于计算指定范围内非空单元格的个数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2868

2023.11.20

sort排序函数用法
sort排序函数用法

sort排序函数的用法:1、对列表进行排序,默认情况下,sort函数按升序排序,因此最终输出的结果是按从小到大的顺序排列的;2、对元组进行排序,默认情况下,sort函数按元素的大小进行排序,因此最终输出的结果是按从小到大的顺序排列的;3、对字典进行排序,由于字典是无序的,因此排序后的结果仍然是原来的字典,使用一个lambda表达式作为key参数的值,用于指定排序的依据。

1138

2023.09.04

while的用法
while的用法

while的用法是“while 条件: 代码块”,条件是一个表达式,当条件为真时,执行代码块,然后再次判断条件是否为真,如果为真则继续执行代码块,直到条件为假为止。本专题为大家提供while相关的文章、下载、课程内容,供大家免费下载体验。

334

2023.09.25

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2098

2023.09.20

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

5919

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2925

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

3708

2025.08.29

Kratos框架HTTP与gRPC服务开发教程
Kratos框架HTTP与gRPC服务开发教程

本专题围绕Kratos框架双协议服务开发,涵盖HTTP路由与处理器编写、参数获取、gRPC服务实现与客户端调用、metadata上下文传递、encoding编解码注册、统一响应封装、超时控制与流式响应实现方法。

0

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn