Python用utf-8读文件时冒出\ufeff，是因为标准utf-8编码器将BOM字节\xef\xbb\xbf当作普通文本解码为Unicode字符\ufeff；而utf-8-sig编码能自动检测并剥离BOM，读取时干净无\ufeff，写入时默认添加BOM，兼容有无BOM的文件。
Python用utf-8读文件时为什么冒出\ufeff
因为标准utf-8编码器不把\xef\xbb\xbf（BOM的三个字节）当作元数据，而是当成普通文本字节解码——结果就是Unicode字符\ufeff，实实在在地出现在字符串开头。这不是bug，是行为一致：你没告诉Python“这是BOM，该跳过”。Windows记事本、某些旧版编辑器保存UTF-8时默认加BOM，而Linux/macOS工具通常不加，跨平台协作时就容易撞上。
utf-8-sig到底干了什么
utf-8-sig不是“带BOM的UTF-8”，它是Python内置的编码变体，专为处理BOM设计：
- 读取时：自动检测开头是否为
b'\xef\xbb\xbf'，若是则剥离，再用utf-8解码剩余内容 - 写入时：默认在文件开头写入
b'\xef\xbb\xbf'（除非你显式控制） - 兼容性：对无BOM文件完全透明，不会多写、不会报错
所以只要目标是“干净读取”，open('file.txt', encoding='utf-8-sig')就是最直接、最安全的选择，不用判断、不用切片、不依赖文件来源。
手动检测BOM有哪些坑
只有当你被外部约束强制用utf-8（比如某库内部硬编码）、或需区分UTF-16/UTF-8 BOM时，才需要手动处理。常见错误包括：
SkillSub Pro - Python 题解与代码注释双功能技能功能概述SkillSub Pro - Python 题解与代码注释双功能技能是一项面向实际任务的技能，主要用于SkillSub Pro 是一个 Python 题解生成与代码注释的 双功能合体技能 ，专为学生、算法学习者和开发者设计；✅ 一个技能，两种用途 ：；核心要点📝 题解模式 ：输入题目/题号，自动生成完整 Python 题解（含详细注释、解题思路、复杂度分析）；💬 注释模式 ：输入 Python 代码，自动添加详细中。它将相关步骤、
立即学习“Python免费学习笔记（深入）”；
- 用
.lstrip('\ufeff')——只删首字符，但BOM可能被误判为真实内容；更糟的是，UTF-16文件里\ufeff可能是合法字符，不是BOM - 只读前3字节却忽略空文件或不足3字节的情况，导致
IndexError或误判 - 写死
raw[3:].decode('utf-8')，没检查BOM类型就切，遇到b'\xff\xfe'（UTF-16 LE）会崩
正确做法是先rb模式读全部头几个字节，再按签名分支处理，且必须覆盖b''、b'\xef'等边界情况。
pandas和csv模块怎么用utf-8-sig
这些库底层调用open()，所以同样适用utf-8-sig，但要注意参数位置：
-
pandas.read_csv('data.csv', encoding='utf-8-sig')——直接传encoding参数即可 -
csv.DictReader(f)要求f是已打开的文本流，所以得先open(..., encoding='utf-8-sig', newline='')，newline=''防止换行符被二次处理 - 别用
io.StringIO包装二进制读取结果再传给csv——绕路且易出错
真正容易被忽略的是混合BOM场景：一个CSV文件前几行由Windows程序生成（带BOM），后几行由Linux脚本追加（无BOM）。这时utf-8-sig只解决第一行，后续行若编码不一致，仍可能在某处触发UnicodeDecodeError——得逐行检测或统一预处理。
