strtok不能保留空段且无法区分分隔符语义，因其将分隔符集合视为等价并自动跳过连续分隔符间的空字符串；需用find_first_of手动切片、strtok_r线程安全替代或regex处理复杂规则。
为什么不能直接用 strtok 处理多个分隔符的连续出现？
strtok 确实支持传入字符串作为“分隔符集合”，比如 " ,;
"，但它会把所有出现在该集合中的字符**统一视为等价分隔符**，且自动跳过连续分隔符之间的空段。例如对 "a,,b; ;c" 调用 strtok(..., " ,;")，只会得到 "a"、"b"、"c" 三段，中间的空字符串全部丢失。这不是 bug，是设计行为——它本就不是为保留空段而生。
如果你需要保留空段（比如解析 CSV 中的 "1,,3" 得到 {"1", "", "3"}），或者要区分不同分隔符的语义（如 "|" 是字段分隔、":" 是子字段分隔），strtok 就不适用。
用 std::string::find_first_of + 手动切片更可控
标准库提供 std::string::find_first_of，它接受一个含多个分隔符的字符串，在目标串中查找**任意一个**匹配字符的位置。配合 substr 和迭代索引，就能精确控制每一段的起止，包括空段。
- 每次从
start开始调用find_first_of(seps) - 若返回
std::string::npos，说明无更多分隔符，剩余整段即最后一段 - 否则，从
start到pos是当前段（含空段），更新start = pos + 1继续 - 注意：不会自动跳过连续分隔符，
"a||b"会产生"a"、""、"b"
std::vector<std::string> split(const std::string& s, const std::string& seps) {
std::vector<std::string> result;
size_t start = 0;
size_t pos;
while ((pos = s.find_first_of(seps, start)) != std::string::npos) {
result.push_back(s.substr(start, pos - start));
start = pos + 1;
}
result.push_back(s.substr(start)); // 尾段
return result;
}遇到 C 风格字符串时，strtok 的坑必须手动绕开
如果非要用 strtok（比如对接旧 C API），记住三点：
Miller (mlr) 是一个命令行工具，用于查询、整形和重新格式化名称索引数据，如 CSV、TSV、JSON 和 JSON Lines。它将 awk、sed、cut、join 和 sort 的功能整合到一个专为结构化数据处理而构建的单一工具中。
立即学习“C++免费学习笔记（深入）”；
- 它会**修改原字符串**——在每个分隔符位置写
' '，所以传入的必须是可写的缓冲区，不能是字面量（strtok("a,b", ",")是未定义行为） - 第二次及后续调用必须传
nullptr，不是原字符串指针；第一次传原指针，之后全靠内部静态指针推进 - 无法重入、线程不安全；多线程中必须用
strtok_r（POSIX）或改用 C++ 方式
常见错误示例：
const char* s = "a,b,c"; char* tok = strtok(const_cast<char*>(s), ","); // 危险！s 是只读内存正确做法是先拷贝到
std::vector<char> 或 std::array<char, N> 中再操作。
复杂场景建议直接用 std::regex 或第三方库
当分隔符有优先级（如匹配最长的 "::" 而非单个 ":"）、需捕获分隔符本身、或规则随上下文变化时，正则最稳妥。例如按 "\s+|[,;\|]" 拆分，同时处理空白和标点：
std::vector<std::string> split_regex(const std::string& s, const std::string& pattern) {
std::regex re(pattern);
std::sregex_iterator it(s.begin(), s.end(), re);
std::sregex_iterator end;
std::vector<std::string> result;
size_t last = 0;
while (it != end) {
size_t pos = it->position();
result.push_back(s.substr(last, pos - last));
last = pos + it->str().length();
++it;
}
result.push_back(s.substr(last));
return result;
}不过 std::regex 构造开销大，短字符串高频调用时性能不如手写循环。真正需要灵活性时再上，别为简单逗号分隔过度设计。
最易被忽略的一点：分隔符字符串里如果包含 ' '，所有基于 C 风格字符串的函数（strtok、strcspn 等）都会提前截断——因为它们以首个 ' ' 为结束。C++ std::string 没这限制，但混用时务必检查源数据是否含嵌入空字符。
