最快路径是std::string_view+std::unordered_set物理分割哈希去重;最慢是std::string拆分再insert到std::set;需确保原字符串生命周期足够长,避免悬空;手写循环比std::regex快10倍以上;应调用reserve预估容量防rehash。

std::string_view + std::unordered_set 是最快路径
直接用 std::string 拆分再 insert 到 std::set 是最慢的常见写法——既拷贝字符串又做红黑树排序。物理分割(即不复制子串内容,只记录起止位置)+ 哈希去重才是极速方案。核心是:用 std::string_view 指向原字符串的切片,插入 std::unordered_set<:string_view></:string_view>,前提是原字符串生命周期足够长(比如是局部 const string 或静态字符串)。
注意:std::unordered_set<:string_view></:string_view> 在 C++17 才完全支持(需提供哈希和比较特化,但标准库已内置),编译器低于 GCC 9.1 或 Clang 7 可能报错。
- 原字符串必须在 set 存活期间不被销毁或修改,否则
string_view悬空 - 避免对临时字符串调用分割,例如
split("a,b,c")中字面量寿命仅到语句结束 - 若原字符串会变动或需长期持有 key,必须转成
std::string存储,此时物理分割优势消失
手写逗号分割循环比 std::regex 快 10 倍以上
std::regex 看起来简洁,但启动开销大、状态机复杂,对纯逗号分隔这种简单模式是严重杀鸡用牛刀。实测百万次分割,手写 while 循环耗时通常 std::regex 超过 5ms。
关键点在于:一次遍历、双指针定位、零内存分配(除 set 插入外)。示例逻辑:
立即学习“C++免费学习笔记(深入)”;
const std::string data = "foo,bar,foo,baz";
std::unordered_set<std::string_view> unique;
size_t start = 0;
while (start < data.size()) {
size_t end = data.find(',', start);
if (end == std::string::npos) end = data.size();
unique.insert(std::string_view(data).substr(start, end - start));
start = end + 1;
}
-
find返回std::string::npos表示未找到,必须判别,否则end + 1会整数溢出 - 逗号连续(如
"a,,b")会产生空string_view,是否保留取决于业务;若要跳过,加判断if (end > start) - 不要用
std::stringstream+getline,它内部有缓冲区分配且无法直接产出string_view
std::unordered_set 的 bucket_count 和 load_factor 影响真实性能
默认构造的 std::unordered_set 初始桶数极小(常为 1 或 8),插入大量元素时频繁 rehash,导致实际耗时翻倍。尤其当预估去重后元素数 > 1000 时,必须预留容量。
- 用
std::unordered_set<std::string_view> unique(estimated_size)显式指定初始桶数 - 更稳妥的是
unique.reserve(estimated_size),它按负载因子自动算桶数,比直接传参更健壮 - 如果最终 size 很小(
- 注意:
reserve()是针对“元素数量”,不是字符串总长度
Windows 下 MSVC 对 string_view 的 substr 实现有额外拷贝风险
MSVC 2019 16.8 之前版本中,std::string_view::substr() 在某些边界条件下(如空视图或越界)可能触发隐式转换到 std::string,破坏物理分割意图。Clang 和 GCC 无此问题。
保险做法是手动构造 string_view:不用 sv.substr(start, len),改用 std::string_view(&data[start], len)。
- 示例替换:
std::string_view(data.data() + start, end - start) - 确保
start < data.size()且end >= start,否则行为未定义 - VS2019 16.10+ 已修复该问题,但线上环境版本不可控时建议手动构造
实际速度差异集中在“是否分配”和“是否排序”两个层面。物理视图 + 哈希容器 + 预分配 + 手写循环,四者缺一不可;少一个,就可能从微秒级掉到毫秒级。


















