std::unordered_set比std::set更适合行级去重，因其平均O(1)查插性能优于set的O(log n)，尤其在千行以上文本中优势显著；但需配合vector保留首次出现顺序，并注意Windows换行符残留、哈希冲突及内存预分配等问题。
为什么 std::unordered_set 比 std::set 更适合行级去重
行级去重本质是判断每行字符串是否已出现过，核心操作是“查+插”，而非排序或范围查询。此时 std::unordered_set<:string></:string> 的平均 O(1) 插入/查找性能明显优于 std::set 的 O(log n)，尤其在千行以上文本中差距显著。
但要注意：哈希容器不保证顺序，如果你后续还需按输入顺序输出去重后结果（而非字典序），就不能直接用 std::set 替代——它会打乱原始行序；而 unordered_set 本身无序，必须额外维护一个 std::vector 记录首次出现的顺序。
- 若只需输出去重后行数或写入新文件，且顺序无关 → 直接用
std::unordered_set - 若需保持首次出现顺序 → 用
std::unordered_set做判重 +std::vector存结果 - 若误以为
std::set能保输入序 → 实际它按字典序排，不是你想要的“行序”
如何避免 std::string 哈希时的隐式拷贝开销
对大文件逐行读取时，反复构造临时 std::string 并插入 unordered_set，可能触发多次内存分配。关键优化点在于复用字符串对象、使用 std::string_view（C++17+）减少拷贝。
示例片段：
立即学习“C++免费学习笔记（深入）”；
std::unordered_set<std::string> seen;
std::string line;
std::vector<std::string> unique_lines;
while (std::getline(in, line)) {
// ❌ 错误：每次 insert 都拷贝一次
// if (seen.insert(line).second) unique_lines.push_back(line);
// ✅ 正确：先查再 push，避免冗余拷贝
if (seen.find(line) == seen.end()) {
seen.insert(std::move(line)); // 移动插入，原 line 变为空
unique_lines.push_back(std::move(line)); // 但此时 line 已空 → 不行！
}
}
所以更稳妥的做法是：
组合式C++代码评审方案，融合静态分析、AI推理、多轮迭代评审和C++专项检查，适用于PR审查、增量代码审查、全项目评审和代码质量评分，触发词包括review cpp、cpp代码评审、C++review、代码审查。
- 用
std::string_view做哈希键（需自定义哈希器或确保生命周期） - 或改用
std::string引用捕获 +emplace_hint（较复杂） - 最简方案：接受一次拷贝，但把
line声明在循环外，并在push_back后调用line.clear()重用缓冲区
getline 读取时容易忽略的换行符与空行问题
std::getline 默认以 '\n' 为分隔符，会丢弃换行符，但不会过滤空行或首尾空白。这意味着 "\t\n" 和 "\n" 都会变成空字符串 ""，而 " hello \n" 会保留前后空格。
是否视为空行、是否 trim，直接影响去重逻辑：
- 若业务要求“空白行视为相同” → 不处理，直接用原始
line - 若要求忽略首尾空白 → 用
boost::trim或手写 trim 函数，但注意 trim 后的字符串可能变为空，需统一处理 - 若文件含
\r\n（Windows）而程序在 Linux 下运行 →getline仍能正确识别\n，但残留\r会成为字符串末尾字符，导致"abc\r"≠"abc"
建议在插入前做一次 line.erase(line.find_last_not_of(" \t\r\n") + 1) 再 erase(0, line.find_first_not_of(" \t\r\n"))，或用正则预处理。
当行数超百万时，unordered_set 的内存与哈希冲突风险
unordered_set 默认桶数量较小，大量字符串插入后若未 rehash，链表过长会导致查找退化为 O(n)。实测 100 万行普通英文文本（平均长度 50 字符），若未预留容量，耗时可能比 set 还高。
必须做的两件事：
- 构造时用
std::unordered_set<std::string> seen; seen.reserve(expected_count);—— 注意是reserve，不是resize - 若不确定行数上限，可设为预估量的 1.5 倍；或读第一遍统计总行数再分配（牺牲一次 IO）
- 极端情况（如大量短字符串哈希碰撞），可换用
absl::flat_hash_set或tsl::robin_map，它们对字符串哈希做了专项优化
另外，std::string 在小字符串优化（SSO）下，短于 15–22 字节通常不分配堆内存，但百万级存储仍会占用数百 MB 内存——这点比 set 略高，但换来的是速度。
