讲师中心 微信公众号
AI工具推荐 视频效率加速

单词频率统计工具_Map集合计数与Scanner文本解析实战

大敏吖_8436

大敏吖_8436

发布时间:2026-02-21 16:22:03

|

329人浏览过

|

来源于php中文网

原创

相同单词未合并是因为未统一大小写、未清除标点及空格残留,导致“Hello!”与“hello”等被视为不同键;需toLowerCase()、正则清理、判空后计数,并慎用Scanner分隔符。

单词频率统计工具_map集合计数与scanner文本解析实战

用 HashMap 统计单词频次时,为什么相同单词没合并?

常见错误是把 Scanner 读出的每个 next() 结果直接当键存进 HashMap,但忽略了大小写、标点和空格残留。比如 “Hello!” 和 “hello” 被当成两个词;“word,” 和 “word” 也被视为不同键。

  • 先调用 toLowerCase() 统一大小写
  • 用正则 replaceAll("[^a-z]", "") 剥离标点和数字(注意:空字符串会因此产生,需跳过)
  • 检查 word.length() > 0 再计数,避免空白键污染结果
  • 别用 nextLine() 直接拆——它不按词切分,容易把整行当一个“词”

Scanner 分词逻辑和 useDelimiter() 的实际影响

Scanner 默认以空白符(空格、制表、换行)为分隔符,看似合理,但遇到连字符、撇号、缩写(如 “don’t”, “state-of-the-art”)就会断错。强行用 useDelimiter("\W+") 看似能解决,但会导致开头/结尾非字母字符被吃掉,且连续标点可能生成空串。

科学计算器在线使用工具代码
科学计算器在线使用工具代码

html5 css3制作在线科学计算器ui布局,3D计算器面板,加减乘除数字计算器工具特效。

下载
  • 推荐用 useDelimiter("[^a-zA-Z]+") —— 更精准保留纯字母词
  • 如果文本含带撇号的英文词(如 “it’s”),得用 useDelimiter("[^a-zA-Z']+),再额外清理首尾单引号
  • 每次调用 hasNext() 前确保 scanner 没到末尾,否则 next() 抛 NoSuchElementException

HashMap 计数的三种写法,哪一种最稳?

新手常写 map.put(word, map.get(word) + 1),但 map.get(word) 返回 null 时会触发 NullPointerException。自动装箱救不了原始类型语义缺失的问题。

  • 安全写法:用 map.merge(word, 1, Integer::sum) —— JDK 8+,原子、简洁、空值安全
  • 兼容老版本:先 map.containsKey(word) 判断,再 put 或 replace
  • 别用 getOrDefault(word, 0) 后再 put —— 非线程安全,且多一次哈希查找

中文文本或混合内容下,HashMap + Scanner 还适用吗?

不适用。Scanner 的 delimiter 机制依赖字符边界,对中文是“字”不是“词”,直接分出会得到单字而非语义词(如“苹果手机”切成“苹”“果”“手”“机”)。而且 HashMap 本身不处理同义、简繁、拼音归一化。

  • 纯中文统计必须换分词库,比如 hanlp 或 jieba(Java 封装版)
  • 中英混合场景,先用正则粗筛出英文段落单独处理,中文部分走专业分词
  • 哪怕只是过滤掉中文、只统计英文单词,也要注意 Unicode 字符范围——[^a-zA-Z] 不拦得住中文,得用 [^\p{L}]+(\p{L} 匹配所有字母类 Unicode 字符)
事情说清了就结束。真正卡住人的,往往不是算法,而是 Scanner 没切对、HashMap 键里混进了不可见字符、或者想用一套逻辑通吃中英文。

热门AI工具

更多
PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

549

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

1698

2024.03.01

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1838

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2904

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

6224

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

6089

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

7674

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

11554

2024.04.29

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

60

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Gradle 安全最佳实践
Gradle 安全最佳实践

共0课时 | 0人学习

Gradle Wrapper 使用与安全指南
Gradle Wrapper 使用与安全指南

共0课时 | 0人学习

Golangci-lint命令行使用演示
Golangci-lint命令行使用演示

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn