用std::set直接行级去重易出错，因其自动排序打乱原始顺序，且未处理 换行残留、空行及空白符归一化等问题；正确做法是结合std::set查重与std::vector保序存储。
为什么用 std::set 做行级去重容易出错
直接把每行字符串塞进 std::set 看似简单，但实际会漏掉重复行——因为 std::set 只保证插入时去重，不保留原始顺序，而“行级”意味着你得按输入顺序输出唯一行。更麻烦的是，如果读取时没处理换行符（比如 getline 后的
被截掉，但文件末尾空行或 DOS 风格
残留），同一逻辑的两行可能被当成不同字符串。
-
std::set自动排序，打乱原始行序，不能直接用于“保持首次出现顺序”的去重 - 未清理的
- 空行是否保留、空白符是否忽略，
std::set本身不帮你做这些判断
用 std::set + std::vector 组合实现保序去重
核心思路：用 std::set 快速查重，用 std::vector 记录首次出现的行。每次读一行，先用 set.insert() 尝试插入，它返回一个 pair<iterator bool></iterator>，其中 second 为 true 表示是新元素——这时才 push 到 vector。
std::set<std::string> seen;
std::vector<std::string> unique_lines;
std::string line;
while (std::getline(std::cin, line)) {
// 清理常见换行残留
if (!line.empty() && line.back() == '
') {
line.pop_back();
}
auto [_, is_new] = seen.insert(line);
if (is_new) {
unique_lines.push_back(line);
}
}
-
seen.insert(line)是 O(log n) 查重，比遍历 vector 快得多，适合几千到几万行 - 必须用 C++17 的结构化绑定（
auto [_, is_new]）来解包返回值；C++11/14 需写成auto ret = seen.insert(...); if (ret.second) {...} - 清理
性能瓶颈在哪？什么时候该换 std::unordered_set
当行数超过 10 万，std::set 的 O(log n) 累积起来明显慢于 std::unordered_set 的均摊 O(1)。但后者有额外成本：哈希计算开销、内存占用略高、最坏情况退化为 O(n)。
- 小数据（std::set 和
std::unordered_set差距不明显，前者更省内存 - 大数据（>100k 行）且内存充足：优先用
std::unordered_set<std::string>，记得预留容量避免频繁 rehash：seen.reserve(100000) - 如果字符串极长（如每行几 KB），哈希计算本身成瓶颈，反而
std::set更稳
别忘了边界：空行、全空白行、超长行
真实日志或配置文件里，空行和仅含空格/tab 的行是否算“重复”？std::set 默认把 "" 和 " " 当作不同字符串，但业务上可能需要统一归一化。
立即学习“C++免费学习笔记（深入）”；
- 若需忽略空白行：
if (line.find_first_not_of(" ") == std::string::npos) continue; - 若需折叠空白：
std::regex_replace(line, std::regex("\s+"), " ")（注意性能损耗） - 超长行（>1MB）可能触发
std::getline分配失败，建议加长度检查或改用缓冲读取
真正难的不是写对那几行 insert，而是搞清你的“重复”定义到底是什么——是字节完全一致，还是语义等价。这个判断一旦错，后面所有优化都是白搭。
