字符集白名单过滤的实质是仅保留指定字符集内的字符，其余一律剔除；其核心在于高效判断字符是否在白名单中，UTF-8需先解码为char32_t再过滤，ASCII场景则须用unsigned char避免符号陷阱。
什么是字符集白名单过滤的实质
本质是保留指定集合内的字符，其余一律剔除。不是编码转换，也不是正则替换——它不关心语义，只做“存在性判断”。C++ 没有内置的“白名单过滤”函数，必须手动遍历 + 判断，核心在于如何高效判断某个 char 或 char32_t 是否在白名单中。
常见错误是直接用 std::string::find 在白名单字符串里查，对长字符串或高频调用场景性能极差；另一类错误是只处理 char，却忽略 UTF-8 多字节问题，导致中文、emoji 被截断成乱码。
UTF-8 字符串必须先解码再过滤
UTF-8 是变长编码，一个 Unicode 字符可能占 1–4 字节。std::string 存的是字节，不能直接按 char 过滤。否则会把“好”字（0xE5, 0xA5, 0xBD）拆成三个非法字节分别判断，结果全删或残缺。
- 必须用 UTF-8 解码库（如
utf8cpp）或手写安全解码逻辑 - 推荐使用
utf8::iterator将std::string转为char32_t序列 - 白名单应以
std::unordered_set<char32_t></char32_t>存储，O(1) 查找 - 过滤后用
utf8::append重新编码回std::string
#include <utf8.h>
#include <unordered_set>
std::string filter_utf8(const std::string& s, const std::unordered_set<char32_t>& whitelist) {
std::string out;
out.reserve(s.size());
utf8::iterator<std::string::const_iterator> it(s.begin(), s.begin(), s.end());
utf8::iterator<std::string::const_iterator> end(s.end(), s.begin(), s.end());
while (it != end) {
char32_t cp = *it++;
if (whitelist.find(cp) != whitelist.end()) {
utf8::append(cp, back_inserter(out));
}
}
return out;
}
ASCII 白名单可跳过 UTF-8 解码，但要注意 signed char 陷阱
如果确定输入只含 ASCII（0x00–0x7F），可直接按字节操作，避免解码开销。但 C++ 中 char 默认可能是 signed，当读到 0xFF 这类高位字节时会变成负数，导致数组索引越界或 std::set 查找失败。
立即学习“C++免费学习笔记（深入）”；
- 白名单用
std::bitset最快（位运算 O(1)），索引前强制转为unsigned char - 不要用
std::set<unsigned char></unsigned>，插入/查找有树开销 - 示例：
std::bitset<256> make_ascii_whitelist(const std::string& allowed) { std::bitset<256> b; for (unsigned char c : allowed) b.set(c); return b; } std::string filter_ascii(const std::string& s, const std::bitset<256>& whitelist) { std::string out; out.reserve(s.size()); for (unsigned char c : s) { if (whitelist.test(c)) out += c; } return out; }
白名单构建时容易忽略的边界情况
- 空格、制表符、换行符是否允许？
' '、'\t'、'\n' 需显式加入白名单，不会被 isprint() 之类隐含覆盖
- Unicode 中的零宽空格（
U+200B）、软连字符（U+00AD）等控制字符，若未明确列入白名单，会被静默删除
- 如果白名单来自配置文件或用户输入，注意
\uXXXX 或 \UXXXXXXXX 转义需提前解析为 char32_t，不能原样存字符串
- Windows 下读取配置文件可能带 BOM（
0xEF 0xBB 0xBF），解码前要先跳过，否则第一个字符判断失败
' '、'\t'、'\n' 需显式加入白名单，不会被 isprint() 之类隐含覆盖U+200B）、软连字符（U+00AD）等控制字符，若未明确列入白名单，会被静默删除\uXXXX 或 \UXXXXXXXX 转义需提前解析为 char32_t，不能原样存字符串0xEF 0xBB 0xBF），解码前要先跳过，否则第一个字符判断失败真正难的不是写几行循环，而是确认输入编码、明确白名单覆盖范围、并在 UTF-8 和 ASCII 路径间不混用逻辑。漏掉一个 BOM 或错判 signed char，清洗结果就不可逆。
