讲师中心 微信公众号
AI工具推荐 视频效率加速

c++如何读取和解析带BOM头的UTF-8与UTF-16文本流【详解】

陌静君_9514

陌静君_9514

发布时间:2026-03-30 19:10:48

|

640人浏览过

|

来源于php中文网

原创

根本原因是 std::ifstream 默认按字节流打开,不识别 BOM,将 UTF-8 或 UTF-16 BOM 当普通字符读入导致解析失败;需二进制模式打开、手动检测并跳过 BOM,再转码处理。

c++如何读取和解析带bom头的utf-8与utf-16文本流【详解】

读取时直接遇到乱码或空内容

根本原因是 C++ 标准库的 std::ifstream 默认按字节流打开,不识别 BOM;遇到 UTF-8 BOM(0xEF 0xBB 0xBF)或 UTF-16 BOM(0xFF 0xFE 或 0xFE 0xFF)时,会把它们当普通字符读入,导致后续解析失败——比如 std::getline 读出首行含不可见字节,JSON 解析器直接报 invalid character。

实操建议:

立即学习“C++免费学习笔记(深入)”;

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • 用二进制模式打开文件:std::ifstream f("file.txt", std::ios::binary),避免系统层面对换行符或编码的隐式转换
  • 手动读前 3 字节判断 UTF-8 BOM,前 2 字节判断 UTF-16 BOM;别依赖 std::codecvt_utf8(已弃用)或平台 API 做自动探测
  • UTF-16 小端和大端 BOM 必须区分:读到 0xFF 0xFE 是 UTF-16LE,0xFE 0xFF 是 UTF-16BE;混用会导致每两个字节被颠倒解析

std::wifstream 读 UTF-16 文件却只读出一半字符

这是最典型的坑:Windows 下 std::wifstream 默认用本地宽字符编码(通常是 UTF-16LE),但若没显式指定 locale,它不会跳过 BOM,也不会按 UTF-16 单位解析——而是把每个字节当一个 wchar_t 处理,结果一个汉字变成两个乱码宽字符。

实操建议:

立即学习“C++免费学习笔记(深入)”;

  • 必须在打开前设置 locale:f.imbue(std::locale(f.getloc(), new std::codecvt_utf16<char16_t std::little_endian>));</char16_t>
  • 改用 char16_t 流而非 wchar_t 流,避免 Windows 上 wchar_t 是 16 位但语义模糊的问题
  • 更稳妥的做法是:先用 std::ifstream 读原始字节,检测 BOM 后,用 std::mbrtoc16 或 std::from_bytes(C++20)转成 std::u16string

跨平台读 UTF-8 文件时 BOM 导致 std::stoi 失败

Linux/macOS 下很多工具生成的 UTF-8 文件带 BOM,而 std::stoi、std::stod 等函数遇到开头的 0xEF 0xBB 0xBF 会立即返回 0 并设 failbit,不是抛异常,容易被忽略。

实操建议:

立即学习“C++免费学习笔记(深入)”;

  • 解析数字前,对字符串做 BOM 清洗:s.erase(0, s.starts_with("\xEF\xBB\xBF") ? 3 : 0);(C++20)或手写 memcmp 判断
  • 别用 std::istringstream 直接读数字——它不跳过 Unicode 空格类字符,BOM 不属于 std::isspace 范围
  • 如果文件由你控制生成,干脆禁用 BOM:VS Code 保存时选 “UTF-8” 而非 “UTF-8 with BOM”,Python open(..., encoding="utf-8-sig") 会自动剥离,但 C++ 不会

用 std::filesystem::path 处理含中文路径时 BOM 没影响?

有影响,但不在读取环节——std::filesystem::path 本身不碰文件内容,BOM 对它完全透明。真正出问题的是你用这个 path 构造 std::ifstream 后的读取逻辑。很多人误以为路径没问题就等于内容能读对,结果在解析阶段崩溃。

实操建议:

立即学习“C++免费学习笔记(深入)”;

  • std::filesystem::path 只负责路径拼接与存在性检查,BOM 处理必须延后到流打开之后、首次读取之前
  • Windows 下路径含中文时,确保编译器用 UTF-8 源码(加 // clang-format off 和 BOM 无关,但影响源文件本身),否则 u8"中文.txt" 字面量可能被错误编码
  • 调试时用十六进制查看器确认文件真实开头字节,别只信编辑器右下角写的“UTF-8”——很多编辑器显示的是声明,不是实际内容
事情说清了就结束。BOM 不是可选项,是字节序列的一部分;C++ 不帮你猜,得你自己查、自己跳、自己转。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2215

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

3542

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

1176

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

4079

2025.09.10

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1789

2023.07.31

python中的format是什么意思
python中的format是什么意思

python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1211

2024.06.27

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1838

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2924

2023.09.04

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

100

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn