遇到 UnicodeDecodeError 时，先确认文件真实编码，再用 encoding 和 errors 参数容错处理，或改用二进制读取+手动解码、codecs 模块应对特殊需求。
遇到 UnicodeDecodeError 时，先确认文件真实编码
Python 默认用 utf-8 解码文本，但很多旧文件（尤其是 Windows 上生成的 CSV、日志或配置）实际是 gbk、gb2312 或 cp1252。直接报错 'utf-8' codec can't decode byte 0xd6 in position 123 就说明字节流和你假设的编码不匹配。
实操建议：
- 用命令行快速探测：Linux/macOS 运行
file -i filename.txt；Windows 可用chardet库：chardet.detect(open('f.txt', 'rb').read(10000)) - 别依赖文件后缀或编辑器显示——记事本常把
utf-8文件误标为ANSI，VS Code 有时自动猜错 - 对不确定来源的文件，优先试
gbk（中文 Windows 默认）、utf-8-sig（带 BOM 的 UTF-8）、latin-1（能解任意字节但语义可能错）
用 open() 的 encoding 和 errors 参数兜底
硬编码错误不是必须中断程序，open() 支持容错策略。关键不是“避开错误”，而是明确告诉 Python 遇到无法解码的字节时怎么处理。
常见组合：
立即学习“Python免费学习笔记（深入）”；
-
open('f.txt', encoding='utf-8', errors='ignore')：跳过非法字节（适合日志清洗，但会丢数据） -
open('f.txt', encoding='utf-8', errors='replace')：替换成（适合展示场景，保留位置） -
open('f.txt', encoding='gbk', errors='surrogateescape')：把非法字节转成特殊 Unicode 码位，后续可原样写回（适合需要无损往返的二进制混合文本）
注意：errors='strict' 是默认值，也是唯一会抛 UnicodeDecodeError 的选项。
读取二进制再手动解码，控制更细
当 open() 的 errors 不够用（比如要记录错误位置、分段处理、或混合编码），就该上二进制模式。
示例逻辑：
with open('f.txt', 'rb') as f:
raw = f.read()
# 尝试 utf-8
try:
text = raw.decode('utf-8')
except UnicodeDecodeError:
# fallback 到 gbk
text = raw.decode('gbk', errors='replace')
这样做的好处：
- 可以插入调试：打印出错位置
raw[120:130]看原始字节 - 支持多级 fallback（比如先试
utf-8，再gbk，最后latin-1） - 避免
open()在迭代读取（for line in f）时中途崩溃
用 codecs 模块处理流式或非标准编码
标准 open() 不支持某些编码变体（如 utf-8-sig 去 BOM、hz、big5-hkscs），或者你需要包装一个已有的 io.TextIOWrapper。
典型场景：
- 读取带 BOM 的 UTF-8 文件并自动剥离：
codecs.open('f.txt', encoding='utf-8-sig') - 把网络响应字节流转成文本：
codecs.decode(response_bytes, 'utf-8', errors='replace') - 自定义错误处理器（比如把非法字节转成 HTML 实体）：需继承
codecs.CodecInfo，但极少需要
注意：codecs.open() 返回的 file object 行为与内置 open() 一致，可直接用于 for line in f:。
真正麻烦的不是解码本身，而是同一份数据在不同环境里编码标识混乱——比如数据库导出的 CSV 在服务器是 utf-8，下载到本地双击打开却变成 gbk。处理前务必验证字节，而不是靠经验猜。
