讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在Java中查找List集合中的重复元素_分组统计与过滤方案

落宇小哥_3543

落宇小哥_3543

发布时间:2026-03-06 09:05:03

|

367人浏览过

|

来源于php中文网

原创

最直接解法是用Collectors.groupingBy(Function.identity(), Collectors.counting())分组计数,再filter取value>1的key;需注意泛型擦除、null安全及避免漏掉entrySet().stream()转换。

如何在java中查找list集合中的重复元素_分组统计与过滤方案

用 Collectors.groupingBy 统计频次再过滤

Java 8+ 最直接的解法不是遍历比对,而是借力流式 API 做分组统计。核心逻辑是:先按元素本身分组计数,再筛出出现次数大于 1 的键。

常见错误是只调用 groupingBy 却忘了接 counting(),导致返回 Map<t list>></t>,白白多占内存;或者漏掉 entrySet().stream() 这一层转换,无法继续过滤。

  • 必须搭配 Collectors.counting(),否则得不到数字频次
  • 结果是 Map<t long></t>,要取重复项得用 entrySet().stream().filter(e -> e.getValue() > 1).map(Map.Entry::getKey).collect(Collectors.toList())
  • 注意泛型擦除:若 List 是原始类型或含 null,groupingBy 会抛 NullPointerException
List<String> list = Arrays.asList("a", "b", "a", "c", "b", "b");
List<String> duplicates = list.stream()
    .collect(Collectors.groupingBy(Function.identity(), Collectors.counting()))
    .entrySet().stream()
    .filter(e -> e.getValue() > 1)
    .map(Map.Entry::getKey)
    .collect(Collectors.toList()); // ["a", "b"]

用 Set 辅助做单次遍历去重判断

如果只要知道哪些元素重复、不关心重复几次,且对性能敏感(尤其大数据量),用 HashSet 辅助是更轻量的选择:边遍历边记录已见元素,第二次遇到即为重复。

容易踩的坑是误用 add() 返回值逻辑——它返回 false 表示“已存在”,但新手常写成 if (set.add(e)) { /* 重复 */ },实际应是 if (!set.add(e))。

立即学习“Java免费学习笔记(深入)”;

Java调试
Java调试

通过 JDWP 实现 Java 远程调试:连接远程 JVM、设置断点、单步执行代码、查看变量值、获取调用栈。适用于需要调试远程 Java 应用、排查运行时状态、追踪代码执行流程的场景。 术语注解 JDWP:Java Debug Wire Protocol,Java 调试有线协议(Java 远程调试底层通信协议) remote JVM:远程 Java 虚拟机 step through code:代码单步调试(步入 / 步过 / 步出调试) inspect variables:变量查看 / 变量检视 stac

下载
  • Set.add() 返回 true 表示新增成功,false 表示已存在
  • 重复元素可能被多次加入结果集,需额外用 LinkedHashSet 去重并保序
  • 该方法不支持 null 元素(除非用 ConcurrentHashMap.newKeySet() 等替代)
Set<String> seen = new HashSet<>();
Set<String> duplicates = new LinkedHashSet<>();
for (String item : list) {
    if (!seen.add(item)) {
        duplicates.add(item);
    }
}

用 Collections.frequency 的陷阱与适用场景

这个工具方法看着简单,但实际只适合小列表或调试场景。它内部是遍历计数,对每个元素都全表扫描一次,时间复杂度是 O(n²),10 万条数据就明显卡顿。

典型误用是嵌套在循环里反复调用,比如先 for (String s : list) 再 if (Collections.frequency(list, s) > 1),等于把 O(n²) 执行了 n 次,变成 O(n³)。

  • 仅建议用于长度
  • 不要在循环体内调用,可先去重(new HashSet(list)),再对外层集合遍历调用
  • 返回值是 int,但传入 null 时行为取决于具体 List 实现(如 ArrayList 支持,Arrays.asList 包装的数组不支持)

自定义对象重复判断必须重写 equals 和 hashCode

如果 List 装的是自定义类(如 User),所有上述方案都会失效——除非你明确告诉 JVM “两个对象什么时候算同一个”。默认的引用比较会让所有对象都不同。

最常被忽略的是只重写 equals 忘了 hashCode,导致 HashSet 或 groupingBy 分组错乱:相同对象被散列到不同桶,统计结果漏项或重复。

  • 必须同时重写 equals 和 hashCode,且逻辑一致(比如都基于 id 字段)
  • 字段选型要稳定:避免用可变字段(如 name)做判等依据,否则对象修改后哈希值变化,集合行为不可预测
  • IDE 生成的模板基本可用,但要注意是否包含 null 安全检查(推荐用 Objects.equals(a, b))

重复判定本质是“相等性定义”问题,不是算法问题。没重写 equals/hashCode 就跑分组统计,结果一定不对;用 frequency 处理大列表,线程会卡住;而依赖 Set 辅助时,add() 的布尔返回值方向搞反,就永远抓不到重复项。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

11737

2023.06.15

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

8842

2023.07.05

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

7572

2023.07.31

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1244

2023.08.01

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1008

2023.08.02

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

1496

2023.08.02

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

3069

2023.08.02

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

20331

2023.08.03

Uvicorn 报错与问题解决教程
Uvicorn 报错与问题解决教程

本专题汇总了Uvicorn服务器常见问题与报错解决的教程合集,涵盖启动失败、端口占用、模块导入错误、事件循环冲突及热重载失效等典型故障的排查思路。同时整理了多进程与Worker配置、SSL/HTTPS证书报错、跨域与代理配置等实战解决方案,助你快速定位并解决Uvicorn运行中的各类问题。

0

2026.11.02

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
dev.java 官方:Learn Java
dev.java 官方:Learn Java

共0课时 | 0人学习

Java JDBC数据库连接官方教程
Java JDBC数据库连接官方教程

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn