UTF-8非法字节序列导致std::invalid_argument或乱码，应使用std::vector以char流方式读取并手动跳过非法序列，而非直接用std::string接收后解析。
读取文件时遇到 std::invalid_argument 或乱码，大概率是 UTF-8 非法字节序列
标准 C++ 的 std::ifstream 本身不校验 UTF-8 合法性，它只是按字节读；一旦你用 std::string 接收后直接交给 std::u8string、std::from_chars、或某些 JSON 库（如 nlohmann/json），就可能在解析阶段抛出 std::invalid_argument —— 原因不是文件“读错了”，而是后续处理时发现某段字节不符合 UTF-8 编码规则（比如 0xF5 0x00 0x00 0x00 这种超范围的四字节起始）。
用 std::vector<char></char> 原始读取 + 手动跳过非法 UTF-8 字节序列
最可控的方式是绕过所有宽字符/编码感知接口，全程以 char 流处理，只在需要字符串语义时做“宽容解码”。关键逻辑：遍历每个字节，识别 UTF-8 起始字节（0xC0–0xFD），检查其后跟随字节数是否足够、是否均为 0x80–0xBF。不满足就跳过该字节（或整个疑似序列）。
实操建议：
- 不要用
std::getline直接读到std::string再处理——这样非法字节已混入，再切分成本高 - 用
std::ifstream::read()读到std::vector<char></char>，然后用游标遍历 - 对每个位置，用
(c & 0xC0) == 0xC0判断是否为多字节起始；再根据前缀位数（2~4）检查后续字节有效性 - 若检测到非法序列（如
0xC0 0x00），只跳过首字节（0xC0），而不是整段——避免误吞合法 ASCII
示例片段（跳过非法字节，保留其余）：
立即学习“C++免费学习笔记（深入）”；
std::vector<char> buf(4096);
in.read(buf.data(), buf.size());
size_t i = 0;
while (i < static_cast<size_t>(in.gcount())) {
unsigned char c = buf[i];
if (c < 0x80) { // ASCII
out.push_back(c);
++i;
} else if ((c & 0xE0) == 0xC0 && i + 1 < in.gcount() && (buf[i+1] & 0xC0) == 0x80) {
out.push_back(c); out.push_back(buf[i+1]); i += 2; // 2-byte OK
} else if ((c & 0xF0) == 0xE0 && i + 2 < in.gcount() &&
(buf[i+1] & 0xC0) == 0x80 && (buf[i+2] & 0xC0) == 0x80) {
out.push_back(c); out.push_back(buf[i+1]); out.push_back(buf[i+2]); i += 3;
} else if ((c & 0xF8) == 0xF0 && i + 3 < in.gcount() &&
(buf[i+1] & 0xC0) == 0x80 && (buf[i+2] & 0xC0) == 0x80 && (buf[i+3] & 0xC0) == 0x80) {
out.push_back(c); out.push_back(buf[i+1]); out.push_back(buf[i+2]); out.push_back(buf[i+3]); i += 4;
} else {
++i; // 跳过这个非法字节
}
}
用 ICU 或 utf8cpp 做严格但易用的过滤（推荐用于生产）
手写 UTF-8 校验容易漏边界（比如超长编码、代理对、空终止符干扰）。更稳妥的做法是引入轻量库：
-
utf8cpp（header-only）提供utf8::is_valid()和utf8::find_invalid()，可定位首个非法位置，再用std::copy分段拷贝合法区 - ICU 的
u_strFromUTF8()配合U_BUFFER_OVERFLOW_ERROR和U_INVALID_CHAR_FOUND可精确控制替换策略（如替换成U+FFFD） - 注意：别用
std::codecvt_utf8—— 它在 C++17 已被弃用，且多数标准库实现不处理非法输入，直接抛异常
用 utf8cpp 的典型流程：
std::string raw = read_whole_file(); // 全部读入 string std::string clean; utf8::replace_invalid(raw.begin(), raw.end(), std::back_inserter(clean)); // clean 现在不含非法 UTF-8 序列，非法字节被替换为 U+FFFD（即 "\xEF\xBF\xBD"）
Windows 上用 std::wifstream 会更麻烦，别走这条路
有人想用 std::wifstream + std::locale 绕过问题，结果发现：
- Windows 默认窄流用 ANSI 代码页（如 GBK），根本不是 UTF-8 —— 即使文件是 UTF-8，也会错解
- 显式调用
imbue(std::locale(std::locale(), new std::codecvt_utf8<wchar_t>))</wchar_t>在 MSVC 上常触发未定义行为或崩溃 -
_setmode(_fileno(stdin), _O_U16TEXT)类接口只影响控制台，对文件流无效
结论：在 Windows 上也坚持用 std::ifstream + std::vector<char></char> + UTF-8 过滤，跨平台一致性更高。
真正容易被忽略的是 BOM 处理——UTF-8 BOM（0xEF 0xBB 0xBF）本身合法，但某些 parser 会把它当内容；跳过非法字节时得先判断并剥离 BOM，否则可能把 BOM 当作普通文本传给下游。
