std::unique仅移除相邻重复元素,需先sort再unique并erase才能真正去重;保序去重用unordered_set;UTF-8字符串须用Unicode-aware库处理。

std::unique 不能直接去重,必须先排序
std::unique 实际上只移除「相邻重复元素」,不是全局去重。如果原字符串是 "bacab",直接调用 std::unique 后仍是 "bacab"(因为 'a' 和 'b' 不相邻),根本不会变。必须先用 std::sort 把相同字符挤到一起,再用 std::unique 才有效。
常见错误现象:std::unique 返回的迭代器看似“去重成功”,但实际只是把重复项挪到末尾,原容器长度没变,容易误以为结果已就绪——忘了用 erase 真删掉冗余部分。
- 正确顺序固定为三步:
std::sort→std::unique→erase - 对
std::string操作时,std::sort默认按 ASCII 值排序,大小写敏感('A'和'a'视为不同) - 若需忽略大小写去重,得自己传比较函数,比如
[](char a, char b) { return std::tolower(a)
std::string 去重的最小可行代码模板
以下是最简、可直接粘贴运行的写法,适用于 ASCII 字符串:
std::string s = "hello world"; std::sort(s.begin(), s.end()); auto last = std::unique(s.begin(), s.end()); s.erase(last, s.end()); // s 变成 " dehlorw"
注意空格和标点也会参与排序和去重;如果只想处理字母,得先过滤(比如用 std::remove_if + std::isalpha)。
立即学习“C++免费学习笔记(深入)”;
-
std::unique返回的是新逻辑结尾的迭代器,不是删除个数,别用std::distance自己算长度再去erase - 不要对
std::string_view直接操作——它不可变,得先转成std::string - 若字符串很长(比如 >10MB),
std::sort的 O(n log n) 开销可能比遍历哈希表还高,这时该换思路
不排序的去重:用 std::unordered_set 保持原始顺序
当要求「去重但保留首次出现顺序」时(例如输入 "abac" 要输出 "abc"),std::sort+std::unique 完全失效。此时应改用 std::unordered_set 辅助判断:
std::string s = "abac";
std::unordered_set<char> seen;
std::string result;
for (char c : s) {
if (seen.insert(c).second) { // insert 返回 pair<iter, bool>,second 为 true 表示新插入
result += c;
}
}
// result == "abc"
性能权衡:时间复杂度 O(n),空间多用一个哈希表;而排序方案空间 O(1)(原地),但破坏顺序且更慢。
-
std::unordered_set在 C++11 起可用,无需额外编译选项 - 若字符范围极小(如仅 ASCII 0–127),可用
std::array<bool></bool>替代哈希表,更快更省内存 - 注意
std::unordered_set::insert的返回值含义,别写成if (!seen.count(c))—— 多一次查找,效率打折
Unicode 字符串不能直接用这套方法
上面所有方案都基于 char 或 std::string,本质是字节级操作。遇到 UTF-8 编码的中文或 emoji(如 "你好?"),一个字符占多个字节,std::sort 会把 UTF-8 字节乱序排列,产生非法编码;std::unique 则可能切开某个字符的字节序列,导致后续解析崩溃。
真正安全的做法是先用 ICU、utf8cpp 或 C++20 的 std::u8string + std::ranges::sort(配合 proper UTF-8 迭代器)拆出 Unicode 码点,再对码点去重。但这已超出 std::sort/std::unique 的能力边界。
- 日常开发中,若确定输入只有 ASCII,就放心用排序+unique
- 只要出现非 ASCII 字符,就必须切换到 Unicode-aware 库,别硬套
std::string方法 - 编译器不会报错,但运行时输出乱码或
std::string长度异常,就是 UTF-8 被误操作的典型信号


















