本教程详细介绍了如何在java中使用`java.util.set`（特别是`hashset`）高效地识别数组中的重复元素，并按照“保留除首次出现外所有重复实例”的规则（即n-1个重复）将其提取出来。文章通过示例代码演示了如何利用`set.add()`方法的特性来优化传统低效的查找方式，从而实现更优的时间复杂度。
理解问题：识别并保留重复元素
在数据处理中，我们经常需要从集合中识别重复元素。本教程所解决的问题并非简单地找出所有唯一的重复元素，而是要求对于一个出现 N 次的元素，我们最终要收集 N-1 个它的实例。
例如，给定一个整数数组 {1, 1, 2, 2, 2}：
- 数字 1 出现了 2 次，我们期望保留 2 - 1 = 1 个 1。
- 数字 2 出现了 3 次，我们期望保留 3 - 1 = 2 个 2。 因此，最终的输出结果应为 {1, 2, 2}。这与仅仅返回唯一的重复元素（如 {1, 2}）有着本质的区别。
低效的实现方式及其局限性
一种直观但效率低下的方法是使用嵌套循环配合 List 的 contains() 方法来查找重复项。这种方法通常会像以下这样实现：
public static Integer[] returnDuplicateNaive(Integer[] list) {
List<Integer> uniqueList = new ArrayList<>(); // 存储已发现的唯一重复项
for (int k = 0; k < list.length; k++) {
for (int j = 0; j < list.length; j++) {
// 如果元素相同，索引不同，且该重复项尚未被记录
if (list[k].equals(list[j]) && k != j && !uniqueList.contains(list[k])) {
uniqueList.add(list[k]);
}
}
}
return uniqueList.toArray(new Integer[0]);
}上述代码的问题在于：
立即学习“Java免费学习笔记（深入）”；
- 时间复杂度高昂：外层循环 O(N)，内层循环 O(N)，而 ArrayList.contains() 方法本身也需要遍历列表，其时间复杂度为 O(K)（其中 K 是 uniqueList 的大小）。综合来看，最坏情况下的时间复杂度可能达到 O(N^3) 或 O(N^2)，这对于大型数据集是不可接受的。
- 不符合要求：这种方法只会返回每个重复元素的“唯一”实例（例如，对于 {1,1,2,2,2}，它会返回 {1,2}），而不是 N-1 个实例。
利用集合（Collections）高效处理重复元素
为了高效地解决此问题，我们可以利用 java.util.Set 接口的特性，特别是其实现类 HashSet。HashSet 提供了近乎 O(1)（常数时间）的平均时间复杂度来执行 add()、remove() 和 contains() 等操作，这比 ArrayList 的 O(N) 效率要高得多。
你接手一个需求时，是不是经常这样："改一个小字段 → 结果把不相关的代码也改了"、"需求说得很模糊 → 做着做着发现跑偏了"、"数据库加个字段 → 上线才发现漏了数据兼容"、"做了个新功能 → 一个月后自己都忘了当时怎么设计的"、"写到一半被中断 → 再回来不知道从哪继续"；这个 Skill 就是专门解决这些问题的。 它会自动探测你的项目环境（JDK、Spring Boot、ORM、数据库、前端框架），记在
核心思想是：
- 维护一个 HashSet 来记录所有我们已经“见过”的唯一元素。
- 维护一个 ArrayList 来收集所有符合条件的重复元素。
- 遍历输入数组中的每一个元素。对于每个元素，我们尝试将其添加到 HashSet 中。
- 如果 HashSet.add() 方法返回 true，说明这个元素是第一次被添加到集合中，它是我们遇到的第一个实例。
- 如果 HashSet.add() 方法返回 false，说明这个元素已经存在于 HashSet 中，这意味着当前元素是一个重复项（即，它不是首次出现的实例）。此时，我们就将这个重复项添加到我们收集重复元素的 ArrayList 中。
通过这种方式，我们确保了只有在元素第二次及以后出现时才将其视为“重复”并收集起来，完美地满足了保留 N-1 个重复实例的要求。
Java 实现示例
以下是使用 HashSet 实现上述逻辑的完整 Java 代码示例：
import java.util.ArrayList;
import java.util.Arrays;
import java.util.HashSet;
import java.util.List;
import java.util.Set;
public class DuplicateElementExtractor {
/**
* 从给定的数组中提取重复元素，每个重复元素只保留除首次出现外所有实例。
* 例如，如果输入是 {1, 1, 2, 2, 2}，则返回 {1, 2, 2}。
*
* @param list 包含可能重复元素的整数数组。
* @return 包含重复元素的数组，每个重复元素保留 N-1 个实例。
*/
public static Integer[] returnDuplicates(Integer[] list) {
// 用于存储所有已遇到的唯一元素。
// HashSet 提供 O(1) 的平均时间复杂度进行添加和查找。
Set<Integer> seen = new HashSet<>();
// 用于存储所有符合条件的重复元素。
// ArrayList 用于按顺序收集这些重复项。
List<Integer> duplicates = new ArrayList<>();
// 遍历输入数组中的每一个元素
for (Integer next : list) {
// 尝试将当前元素添加到 seen 集合中。
// 如果 add 方法返回 false，说明该元素已经存在于 seen 集合中，
// 意味着当前元素是一个重复项（非首次出现）。
if (!seen.add(next)) {
duplicates.add(next); // 将此重复项添加到结果列表中
}
}
// 将结果列表转换为 Integer 数组并返回。
// 使用 toArray(new T[0]) 是将 List 转换为数组的推荐做法，
// 它会根据 List 的大小创建一个新的数组。
return duplicates.toArray(new Integer[0]);
}
public static void main(String[] args) {
// 示例 1: 包含多个重复项
Integer[] testList1 = {1, 1, 2, 2, 2};
System.out.println("原始数组: " + Arrays.toString(testList1));
System.out.println("提取的重复元素: " + Arrays.toString(returnDuplicates(testList1))); // 预期输出: [1, 2, 2]
// 示例 2: 不包含任何重复项
Integer[] testList2 = {1, 2, 3, 4, 5};
System.out.println("原始数组: " + Arrays.toString(testList2));
System.out.println("提取的重复元素: " + Arrays.toString(returnDuplicates(testList2))); // 预期输出: []
// 示例 3: 包含不同位置的重复项
Integer[] testList3 = {10, 20, 10, 30, 20, 20};
System.out.println("原始数组: " + Arrays.toString(testList3));
System.out.println("提取的重复元素: " + Arrays.toString(returnDuplicates(testList3))); // 预期输出: [10, 20, 20]
}
}运行上述 main 方法，将得到以下输出：
原始数组: [1, 1, 2, 2, 2] 提取的重复元素: [1, 2, 2] 原始数组: [1, 2, 3, 4, 5] 提取的重复元素: [] 原始数组: [10, 20, 10, 30, 20, 20] 提取的重复元素: [10, 20, 20]
性能分析与注意事项
性能分析
- 时间复杂度：上述解决方案的核心是遍历输入数组一次，并在每次迭代中执行 HashSet.add() 操作。HashSet.add() 的平均时间复杂度为 O(1)。因此，整个算法的平均时间复杂度为 O(N)，其中 N 是输入数组的长度。这比传统嵌套循环方法（O(N^2) 或更高）有了显著的性能提升。
- 空间复杂度：在最坏情况下，seen 集合可能需要存储所有 N 个不同的元素（例如，所有元素都不同），而 duplicates 列表也可能需要存储 N-1 个元素（例如，所有元素都相同）。因此，空间复杂度为 O(N)。
注意事项
- 对象类型：如果处理的不是基本类型的包装类（如 Integer），而是自定义对象，那么需要确保这些对象类正确地重写了 hashCode() 和 equals() 方法。HashSet 依赖于这两个方法来判断对象的相等性以及在哈希表中存储和查找元素的位置。如果这两个方法没有正确实现，HashSet 可能无法正确识别重复项。
- null 元素：HashSet 允许存储一个 null 元素。如果输入数组中可能包含 null，该方法会正确处理：第一个 null 会被添加到 seen 集合中，后续的 null 则会被识别为重复项并添加到 duplicates 列表中。
- 输入数组的修改：此方法不会修改原始输入数组，而是返回一个新的数组，其中包含提取出的重复元素。
总结
本教程展示了如何利用 Java 集合框架中的 HashSet，以一种高效且符合特定需求的方式，从数组中提取重复元素（保留 N-1 个实例）。通过巧妙地利用 Set.add() 方法的返回值，我们能够以 O(N) 的平均时间复杂度完成任务，远优于传统的 O(N^2) 甚至 O(N^3) 方案。理解并应用这种模式，对于处理大规模数据集中的重复元素问题具有重要意义。
