本文详解如何使用 treemap<string, treeset<string>> 构建倒排索引，确保每个词项（token）唯一映射到其出现的所有文档编号（去重、有序），解决共享集合引用导致的全局污染问题。
本文详解如何使用 treemap<string, treeset<string>> 构建倒排索引，确保每个词项（token）唯一映射到其出现的所有文档编号（去重、有序），解决共享集合引用导致的全局污染问题。
构建倒排索引是信息检索系统的核心任务之一：给定一组文档，需建立“词 → 文档列表”的映射关系，且每个文档仅记录一次（不计频次）。Java 中最自然的实现方式是使用嵌套集合结构——外层 TreeMap 保证词项按字典序排序，内层 TreeSet 自动去重并维持文档编号升序。但初学者常因误用同一 Set 实例而陷入所有词项共享全部文档编号的陷阱（如原始代码中 docSet 被反复复用）。
关键问题在于：不能为所有 token 复用同一个 Set 对象。否则每次 docSet.add(docNum) 都会向同一个集合插入，最终所有键值对都指向该集合的当前状态（即全部文档号）。正确做法是：对每个新 token 创建专属 TreeSet；对已存在 token，则直接获取其关联的 TreeSet 并添加当前文档号。
以下是优化后的核心逻辑（含完整可运行示例）：
Map<String, Set<String>> invertedIndex = new TreeMap<>(); // 有序词典 + 文档集
int docNum = 0;
for (File f : files) {
docNum++;
try (Scanner fileScanner = new Scanner(f)) {
while (fileScanner.hasNextLine()) {
StringTokenizer tokenizer = new StringTokenizer(fileScanner.nextLine());
while (tokenizer.hasMoreTokens()) {
String token = tokenizer.nextToken()
.replaceAll("[^a-zA-Z0-9]", "") // 修正：用空字符串替代非字母数字，避免空格干扰
.toLowerCase()
.trim();
if (token.isEmpty()) continue; // 过滤空白 token
// ✅ 正确模式：按需创建或复用 Set
invertedIndex.computeIfAbsent(token, k -> new TreeSet<>())
.add(Integer.toString(docNum));
}
}
}
}? 推荐写法说明：computeIfAbsent() 是 Java 8+ 提供的原子操作——若 key 不存在，则执行 lambda 创建新 TreeSet 并放入 map；若已存在，则直接返回其关联的 Set。这比手动 containsKey() + get() + put() 更简洁、线程安全且无冗余判断。
注意事项与最佳实践：
- 避免正则替换引入多余空格：原代码 replaceAll("[^a-zA-Z0-9]", " ") 会生成空格分隔的碎片，应改为 replaceAll("[^a-zA-Z0-9]", "") 直接删除非法字符；
- 资源管理：使用 try-with-resources（如 try (Scanner s = ...)）自动关闭流，防止文件句柄泄漏；
- 空 token 过滤：trim() 后检查 isEmpty()，避免 " " 或 "" 成为无效索引项；
- 性能权衡：TreeSet 保证有序但插入为 O(log n)；若仅需去重无需排序，可用 HashSet + 最终 sorted() 输出；
- 扩展性提示：生产环境建议封装为 InvertedIndex 类，提供 addDocument(int docId, String content) 等方法，并支持增量更新。
最终输出格式严格符合需求：每行一个 token，后跟升序排列、无重复的文档编号（如 the [1, 2, 3, 4, 5, 6]），既满足可读性，也便于后续检索逻辑调用。
