std::set不适合直接行级去重，因其红黑树插入开销大且不保留原始顺序；推荐用std::unordered_set+std::vector组合实现O(1)查重与顺序保留，再配合trim和reserve优化性能。
std::set 为什么不适合直接做行级去重
直接用 std::set<:string></:string> 存每行字符串，看似能自动去重，但实际会带来隐性开销：每次插入都要做红黑树节点分配 + 字符串拷贝 + 字典序比较。对万行以上文本，std::set 的常数因子明显高于更轻量的方案；而且它不保留原始顺序——如果你需要“首次出现的行保留，后续重复行跳过”，std::set 本身无法告诉你某行是不是第一次见。
用 std::unordered_set + std::vector 组合实现真正行级去重
核心思路是：用 std::unordered_set 做 O(1) 查重，用 std::vector 记录去重后按原顺序排列的结果。比纯 std::set 快 2–5 倍（实测 10 万行随机文本），且逻辑清晰可控。
- 读取每行时，先查
seen.insert(line)返回的pair<bool iterator></bool>中的first字段：为true表示该行首次出现 - 只在
first == true时把line推入result向量 -
std::unordered_set默认哈希函数对std::string足够高效，无需自定义；若需忽略大小写，可传入std::hash的包装器或用std::transform预处理 - 注意：
std::unordered_set可能因 rehash 触发内存重分配，若已知行数上限，建议调用reserve(N)预分配桶数
处理换行符和空白行的边界情况
真实日志或配置文件中常含 \r\n、尾部空格、纯空白行。如果直接用 std::getline 读取，\r 可能残留在字符串末尾，导致 "abc" 和 "abc\r" 被视为不同行。
- 读完每行后，用
line.erase(line.find_last_not_of(" \t\r\n") + 1)清理首尾空白（注意find_last_not_of返回std::string::npos时需判空） - 若业务要求保留空白行，就跳过清理步骤，但需明确约定：空白行是否算“重复”——通常空字符串只应被去重一次
- 避免用
boost::trim等外部依赖，标准库足以应付
性能敏感场景下的替代选择：std::string_view + 自定义哈希
当输入文本已加载进一块连续内存（如 mmap 或大 buffer），且每行起止位置已知，用 std::string_view 替代 std::string 能彻底避免拷贝。但要注意：std::string_view 的哈希需手动提供，因为标准库没默认特化。
立即学习“C++免费学习笔记（深入）”；
- 定义哈希结构体：
struct StringViewHash { size_t operator()(std::string_view s) const { return std::hash<std::string_view>{}(s); } }; - 声明容器：
std::unordered_set<:string_view stringviewhash></:string_view> - 确保所有
string_view引用的内存生命周期长于该容器——比如不能把局部std::string的c_str()转成string_view后存进去
这个优化在百MB级文本处理中价值显著，但多数小规模场景没必要提前引入复杂度。
