优先使用 charset-normalizer 而非 chardet 判断文件编码，因其准确率更高；对解码失败或含异常字符超5%的文件分类处理并记录，确保批量转换可追溯、可复现。
识别文件真实编码比盲目猜测更可靠
直接用 chardet 或 charset_normalizer 读原始字节再判断，别依赖文件扩展名或系统 locale。很多“GBK 文件”其实是 GB2312 或 GBK 变体，chardet 常误判为 ISO-8859-1，而 charset_normalizer 准确率更高，推荐优先用它：
- 安装：
pip install charset-normalizer - 对小文件（from_bytes()；大文件建议读前 10KB 足够判断
- 避免用
chardet.detect()的confidence值做硬阈值过滤——它在中文混合标点时极不稳定
转换时必须显式处理解码失败而非跳过
用 open(..., encoding=xxx) 直接读可能因个别字节出错而中断，应先用 bytes.decode() + errors='replace' 或 'ignore' 控制行为：
-
errors='replace'：把无法解码的字节换成，保留行结构，适合后续人工核对 -
errors='ignore'：直接丢弃非法字节，可能导致中文断开（如“你好”变成“你好”中间缺字） - 绝对不要用
errors='strict'批量处理——一个文件失败就中断整个流程
写入 UTF-8 时注意 BOM 和换行符一致性
Windows 记事本默认加 BOM，但 Linux/Python 工具链通常不需要。批量转换后若下游程序报“Unexpected UTF-8 BOM”，说明写入时多加了 utf-8-sig：
- 统一用
encoding='utf-8'写入，不加 BOM - 换行符保持原样（
\n或\r\n），别用newline=''强制标准化——会破坏文本对齐和 git diff - 如果必须兼容记事本，只对特定文件（如
.txt）单独用utf-8-sig，并记录日志
实际脚本中要区分“可修复”和“需人工介入”的错误
不是所有编码问题都能自动解决。当 charset_normalizer 返回多个高置信度候选（如 gbk 和 gb18030 置信度都 >0.95），或解码后出现大量 ，说明原始数据已损坏或混码：
立即学习“Python免费学习笔记（深入）”；
- 自动跳过这类文件，输出路径 + 检测结果到
failed.log - 对含
超过总字符数 5% 的文件，标记为review_needed并保留原文件备份 - 别试图用正则替换
——它可能是真实符号（如某些字体缺失的数学符号）
